[논문 리뷰] Topic Augmented Neural Response Generation with a Joint Attention Mechanism.

Xing Chen, Wei Wu외 5명|arXiv (Cornell University)|2016. 06. 21.

Topic Modeling참고 문헌 27인용 수 54

한 줄 요약

이 논문은 대화형 챗봇 응답 생성을 위한 시퀀스투시퀀스 모델에 주제 정보와 게시물 내용을 통합하는 공동 주의 메커니즘인 TAJA-Seq2Seq를 제안한다. 내용 표현과 주제 표현을 함께 고려함으로써 모델은 더 집중적이고 다양한 응답을 생성하며, 인간 평가 기준의 응답 품질과 다양성에서 표준 Seq2Seq 모델보다 뚜렷하게 뛰어나다.

ABSTRACT

We consider incorporating topic information as prior knowledge into the sequence to sequence (Seq2Seq) network structure with attention mechanism for response generation in chatbots. To this end, we propose a topic augmented joint attention based Seq2Seq (TAJA-Seq2Seq) model. In TAJA-Seq2Seq, information from input posts and information from topics related to the posts are simultaneously embedded into vector spaces by a content encoder and a topic encoder respectively. The two kinds of information interact with each other and help calibrate weights of each other in the joint attention mechanism in TAJA2Seq2Seq, and jointly determine the generation of responses in decoding. The model simulates how people behave in conversation and can generate well-focused and informative responses with the help of topic information. Empirical study on large scale human judged generation results show that our model outperforms Seq2Seq with attention on both response quality and diversity.

연구 동기 및 목표

• 주제 정보를 사전 지식으로 통합하여 챗봇의 응답 생성을 향상시키기 위해.
• 표준 Seq2Seq 모델이 집중적이고 정보적인 응답을 생성하는 데에 한계가 있음을 해결하기 위해.
• 입력 게시물과 주제 표현 간의 동적 상호작용을 반영할 수 있도록, 내용과 주제 표현 간의 주의 가중치를 동적으로 校정하는 공동 주의 메커니즘을 설계하기 위해.
• 디코딩 중 내용과 주제 정보를 모두 활용하여 응답의 다양성과 품질을 향상시키기 위해.

제안 방법

• 콘텐츠 인코더는 입력 게시물을 벡터 공간으로 임베딩하고, 주제 인코더는 주제 정보를 별도로 임베딩한다.
• 공동 주의 메커니즘은 콘텐츠 인코더와 주제 인코더의 표현을 융합하여 주의 가중치를 계산한다.
• 주어진 게시물 내용과 주제 정보 간의 동적 상호작용을 반영하기 위해 주의 가중치를 반복적으로 업데이트한다.
• 디코더는 주의 메커니즘에서 유도된 공동 컨텍스트 벡터를 사용하여 토큰 단위로 응답을 생성한다.
• 모델는 교차 엔트로피 손실을 사용한 시퀀스투시퀀스 학습을 통해 엔드 투 엔드로 훈련된다.
• 주제 정보는 사전 지식으로 통합되어 응답 생성을 이끌며, 인간의 대화 행동을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 주제 정보를 사전 지식으로 통합하면 신경 응답 생성에서 응답 품질이 향상되는가?
• RQ2 콘텐츠 표현과 주제 표현 간의 공동 주의가 응답의 집중성과 정보성에 어떤 영향을 미치는가?
• RQ3 표준 Seq2Seq 모델에 비해 주제 정보 통합이 응답 다양성 향상에 기여하는가?
• RQ4 공동 주의 메커니즘이 내용과 주제에 대해 별도로 주의를 적용하는 방법보다 얼마나 뛰어난가?

주요 결과

• TAJA-Seq2Seq 모델은 인간 평가 기준의 응답 품질에서 표준 Seq2Seq 모델보다 뛰어나다.
• 주제 정보 통합 덕분에 응답 다양성이 뚜렷하게 향상되었다.
• 공동 주의 메커니즘은 주제 맥락을 활용함으로써 입력 게시물과 생성된 응답 간의 보다 우수한 정렬을 가능하게 하였다.
• 대규모 인간 평가 결과는 모델이 품질 및 다양성 지표에서 모두 뛰어난 성능을 보임을 확인한다.