[논문 리뷰] Topic Aware Neural Response Generation

Xing Chen, Wei Wu외 5명|arXiv (Cornell University)|2016. 06. 21.

Topic Modeling인용 수 317

한 줄 요약

논문은 TA-Seq2Seq를 소개합니다. 이는 입력 메시지와 사전 학습된 토픽 단어에 대한 공동 어텐션 메커니즘을 사용하여 보다 정보적이고 다양한 챗봇 응답을 생성하는 토픽 인식 시퀀스-투-시퀀스 모델로, 최신 기준선 baselines보다 성능이 우수합니다. 이는 토픽 단어로의 생성을 편향하고 대규모 중국어 대화 데이터에서 개선을 보여줍니다.

ABSTRACT

We consider incorporating topic information into the sequence-to-sequence framework to generate informative and interesting responses for chatbots. To this end, we propose a topic aware sequence-to-sequence (TA-Seq2Seq) model. The model utilizes topics to simulate prior knowledge of human that guides them to form informative and interesting responses in conversation, and leverages the topic information in generation by a joint attention mechanism and a biased generation probability. The joint attention mechanism summarizes the hidden vectors of an input message as context vectors by message attention, synthesizes topic vectors by topic attention from the topic words of the message obtained from a pre-trained LDA model, and let these vectors jointly affect the generation of words in decoding. To increase the possibility of topic words appearing in responses, the model modifies the generation probability of topic words by adding an extra probability item to bias the overall distribution. Empirical study on both automatic evaluation metrics and human annotations shows that TA-Seq2Seq can generate more informative and interesting responses, and significantly outperform the-state-of-the-art response generation models.

연구 동기 및 목표

• 더 정보적이고 매력적인 오픈 도메인 챗봇 응답의 필요성에 대한 동기 부여.
• 응답 생성을 안내하기 위한 사전 지식으로서 토픽 정보를 활용.
• Seq2Seq 프레임워크에 토픽 단어를 공동 어텐션 및 편향 생성을 통해 통합.
• 토픽 인식 생성이 기준선 대비 정보성, 다양성 및 관련성의 개선을 입증.
• 대규모 데이터와 인간 판단으로 접근 방식의 타당성 확인.

제안 방법

• 입력 메시지에 대해 양방향 GRU 인코더를 사용하고, Twitter LDA 모델에서 도출된 토픽 단어 임베딩에 대한 토픽 인코더를 사용합니다.
• 메시지 어텐션과 토픽 어텐션을 결합하여 공동 어텐션 컨텍스트를 계산합니다. 토픽 어텐션은 최종 인코더 상태를 사용하여 토픽 단어에 가중치를 부여합니다.
• 표적 단어를 표준 어휘 생성 및 토픽 단어 구성요소를 포함하는 편향 분포에서 생성합니다.
• 생성 확률을 디코더 상태, 이전 단어, 컨텍스트에 의존하는 추가 확률 항을 추가하여 토픽 단어 쪽으로 편향합니다.
• 대규모 Baidu Tieba 데이터로 학습하고 perplexity, distinct-1/2 지표 및 인간 판단으로 평가합니다.
• 토픽 단어 획득은 Twitter LDA를 통한 이진 학습과 TA-Seq2Seq 프레임워크 내의 응답 생성이라는 두 단계 학습 방식을 사용합니다.

실험 결과

연구 질문

• RQ1 토픽 정보를 Seq2Seq 생성에 도입하면 더 정보적이고 흥미로운 응답을 생성할 수 있는가?
• RQ2 메시지 내용과 토픽 단어를 통합하는 공동 어텐션 메커니즘이 표준 어텐션보다 응답 품질을 향상시키는가?
• RQ3 생성 편향을 토픽 단어로 두면 응답에서 토픽 관련 콘텐츠의 등장과 유용성이 증가하는가?
• RQ4 TA-Seq2Seq가 자동 평가 지표와 인간 판단에서 최신의 응답 생성 모델과 비교했을 때 어떤 차이가 있는가?

주요 결과

모델	PPL-D	PPL-T	distinct-1	distinct-2
S2SA	147.04	133.11	604/.091	1168/.207
S2SA-MMI	147.04	133.11	603/.151	1073/.378
S2SA-TopicConcat	150.45	132.12	898/.116	2197/.327
S2SA-TopicAttention	133.81	119.55	894/.106	2057/.277
TA-Seq2Seq	134.63	122.82	1355/.161	2970/.401

• TA-Seq2Seq는 기준선보다 더 정보적이고 다양하며 토픽 관련 응답을 생성합니다.
• 토픽 인식 변형(TopicConcat, TopicAttention)은 비-토픽 모델에 비해 인간 판단에서 개선을 보이며, TA-Seq2Seq가 최고의 성능을 달성합니다.
• TA-Seq2Seq는 perplexity에서 경쟁력을 유지하면서 distinct-1 및 distinct-2 지표를 향상시켜 출력의 콘텐츠가 더 풍부함을 시사합니다.
• 최종 메시지 상태(h_T)를 사용하는 토픽 어텐션은 관련 없는 토픽 단어를 억제하는 데 도움을 주어 관련성을 향상시킵니다.
• 편향된 생성 구성요소는 토픽 단어 생성을 더 잘 유도하여 콘텐츠의 풍부함에 기여합니다.
• 통계적 검정에서 향상이 유의함(p-value < 0.01)으로 확인됩니다.