[논문 리뷰] A Dual Encoder Sequence to Sequence Model for Open-Domain Dialogue Modeling

T. Sharath, Shubhangi Tandon외 1명|arXiv (Cornell University)|2017. 10. 28.

Topic Modeling참고 문헌 14인용 수 4

한 줄 요약

이 논문은 이전 발화의 대화 행위 잠재 표현을 응답 생성 과정에 통합함으로써 개방형 대화에서의 응답 일관성 향상을 위한 이중 인코더 시퀀스-투-시퀀스 모델을 제안한다. 대화 맥락을 논의 인식 잠재 변수로 인코딩함으로써, 표준 시퀀스-투-시퀀스 모델에 비해 더 맥락에 부합하고 일관성 있는 응답을 생성한다.

ABSTRACT

Ever since the successful application of sequence to sequence learning for neural machine translation systems, interest has surged in its applicability towards language generation in other problem domains. Recent work has investigated the use of these neural architectures towards modeling open-domain conversational dialogue, where it has been found that although these models are capable of learning a good distributional language model, dialogue coherence is still of concern. Unlike translation, conversation is much more a one-to-many mapping from utterance to a response, and it is even more pressing that the model be aware of the preceding flow of conversation. In this paper we propose to tackle this problem by introducing previous conversational context in terms of latent representations of dialogue acts over time. We inject the latent context representations into a sequence to sequence neural network in the form of dialog acts using a second encoder to enhance the quality and the coherence of the conversations generated. The main task of this research work is to show that adding latent variables that capture discourse relations does indeed result in more coherent responses when compared to conventional sequence to sequence models.

연구 동기 및 목표

• 대화의 일对다 성격에도 불구하고 개방형 대화 시스템에서 일관성을 유지하는 데 도전하는 문제를 해결하기 위해.
• 단지 즉각적인 발화 외에도 대화 맥락의 잠재 표현을 통합함으로써 응답 품질을 향상시키기 위해.
• 대화 행위를 통해 논의 수준의 관계를 모델링하면 시퀀스-투-시퀀스 아키텍처에서 응답 생성에 어떤 영향을 미치는지 조사하기 위해.
• 논의 인식 잠재 변수가 더 일관되고 맥락에 부합하는 응답을 생성하는 데 기여함을 입증하기 위해.

제안 방법

• 이중 인코더 아키텍처를 사용하여, 하나의 인코더는 입력 발화를 처리하고 다른 하나는 대화 행위의 역사를 인코딩한다.
• 이전 턴의 대화 행위는 임베딩되어 논의 수준 맥락을 포착하는 잠재 표현으로 인코딩된다.
• 잠재 맥락 표현은 맥락 인식 어텐션 메커니즘을 통해 디코더의 은닉 상태에 통합된다.
• 모델은 어텐션 메커니즘을 갖춘 시퀀스-투-시퀀스 학습을 사용하며, 두 번째 인코더에서 유도된 논의 인식 잠재 변수로 강화된다.
• 잠재 표현은 표준 자동 회귀 학습 목표를 사용하여 메인 시퀀스-투-시퀀스 모델과 함께 엔드 투 엔드로 훈련된다.
• 모델은 응답 생성과 맥락 기반 논의 모델링을 모두 학습하기 위해 개방형 대화 데이터셋에서 훈련된다.

실험 결과

연구 질문

• RQ1 잠재 대화 행위 표현을 통합함으로써 개방형 대화 시스템에서 응답의 일관성이 향상될 수 있는가?
• RQ2 표준 seq2seq 모델에 비해 논의 인식 잠재 변수를 통해 대화 맥락을 모델링하면 응답 품질에 어떤 영향을 미치는가?
• RQ3 이전 대화 행위의 포함이 모델이 맥락에 부합하는 응답을 생성하는 능력에 어느 정도 기여하는가?
• RQ4 이중 인코더 아키텍처는 대화의 논의 수준 의존성을 효과적으로 캡처하고 활용하는가?

주요 결과

• 인간 평가를 통해 표준 시퀀스-투-시퀀스 모델에 비해 제안된 모델이 더 일관성 있는 응답을 생성하는 것으로 나타났다.
• 잠재 대화 행위 표현을 통합함으로써 응답의 관련성과 맥락 일관성이 뚜렷이 향상되었다.
• 이중 인코더 아키텍처는 장거리 논의 의존성을 효과적으로 캡처하여 베이스라인 대비 응답 품질을 향상시켰다.
• 특히 다단계 대화 환경에서 대화 흐름을 유지하는 데 더 뛰어난 성능을 보였다.