[논문 리뷰] A Simple Dual-decoder Model for Generating Response with Sentiment

Xiuyu Wu, Yunfang Wu|arXiv (Cornell University)|2019. 05. 16.

Topic Modeling참고 문헌 16인용 수 8

한 줄 요약

이 논문은 공유 인코더에 연결된 두 개의 감성 전용 디코더를 갖춘 간단한 듀얼디코더 시퀀스 투 시퀀스 모델을 제안한다. 이 모델은 특정 감성을 가진 응답을 생성하며, 감성 정확도(단일 디코더 기준선 대비 최대 25.1점 향상)와 단어 다양성(특이도-1 및 특이도-2 점수 약 10점 향상)에서 뚜렷한 향상을 보이며, 감성 표현과 응답 다양성에 대한 우수한 제어 능력을 입증한다.

ABSTRACT

How to generate human like response is one of the most challenging tasks for artificial intelligence. In a real application, after reading the same post different people might write responses with positive or negative sentiment according to their own experiences and attitudes. To simulate this procedure, we propose a simple but effective dual-decoder model to generate response with a particular sentiment, by connecting two sentiment decoders to one encoder. To support this model training, we construct a new conversation dataset with the form of (post, resp1, resp2) where two responses contain opposite sentiment. Experiment results show that our dual-decoder model can generate diverse responses with target sentiment, which obtains significant performance gain in sentiment accuracy and word diversity over the traditional single-decoder model. We will make our data and code publicly available for further study.

연구 동기 및 목표

• 오픈 도메인 대화 시스템에서 다양하고 감성 제어가 가능한 응답을 생성하는 문제를 해결하기 위해.
• 감성 정확도와 응답 다양성에서 어려움을 겪는 단일 디코더 모델을 개선하기 위해.
• 학습 및 평가를 위해 반대 감성의 쌍으로 구성된 새로운 대화 데이터셋을 구축하기 위해.
• 특정 감성을 가진 응답을 조건부로 생성할 수 있도록 하는 간단하면서도 효과적인 듀얼디코더 아키텍처를 개발하기 위해.

제안 방법

• 공유 인코더가 입력 포스트를 처리하고 두 디코더 모두를 위한 맥락 표현을 생성한다.
• 두 개별 디코더를 별도로 훈련한다: 하나는 긍정 감성, 다른 하나는 부정 감성으로, 각각 동일한 인코딩된 포스트에 조건을 부여한다.
• 추론 시 감성 레이블을 사용해 적절한 디코더를 선택함으로써 목표 감성 제어를 보장한다.
• 모델는 각 디코더가 감성 특화 훈련 데이터에 기반해 응답을 생성하도록 하는 듀얼디코더 구조를 사용한다.
• 인코더와 디코더 모두에 300차원의 워드 임베딩과 100차원의 은닉 상태를 사용한다.
• 사전 기반 방법을 통해 감성 점수를 계산한다: $\text{scoreSent} = N_{\text{pos}} - N_{\text{neg}}$, 부정/긍정 감성은 부호에 따라 할당된다.

실험 결과

연구 질문

• RQ1 간단한 듀얼디코더 아키텍처가 다양성을 유지하면서도 특정 감성을 가진 응답을 효과적으로 생성할 수 있는가?
• RQ2 감성 정확도와 응답 다양성 측면에서 듀얼디코더 모델은 단일 디코더 모델보다 어떻게 비교되는가?
• RQ3 모델이 생성된 응답에서 감성 특화 어휘를 얼마나 잘 포착하고 올바르게 사용하는가?
• RQ4 학습 시 긍정 및 부정 응답의 쌍을 사용할 경우 감성 제어 및 생성 품질이 향상되는가?

주요 결과

• 듀얼디코더 모델은 테스트 세트에서 감성 정확도 89.1%를 달성하여 단일 디코더 기준선(64.0%) 대비 25.1점 향상되었다.
• 듀얼디코더 모델은 단일 디코더 기준선 대비 특이도-1 및 특이도-2 지표에서 약 10점 향상된 단어 다양성을 보였다.
• 듀얼디코더 모델은 생성된 응답에서 긍정 감성 어휘 496종, 부정 감성 어휘 591종을 사용하여 기준선 대비 더 넓은 감성 어휘 사용을 보였다.
• 잘못된 감성 어휘 사용 오류율은 부정 응답 기준 6.2%, 긍정 응답 기준 8.3%로 낮아져 감성 일관성 향상을 시사한다.
• 정성적 사례 연구에서 생성된 응답이 명확하게 의도된 감성을 반영하고 있음을 확인하여, 더 다양한 감성 일관성 있는 응답 생성 능력을 보였다.