[논문 리뷰] Polite Dialogue Generation Without Parallel Data

Tong Niu, Mohit Bansal|arXiv (Cornell University)|2018. 05. 08.

Topic Modeling참고 문헌 63인용 수 5

한 줄 요약

이 논문은 병렬 데이터 없이 사전에 트레이닝된 예의 바르게 말하는 분류기의 도움을 받아 예의 바르거나 무례한 대화 응답을 생성하는 약한 지도 학습 모델 세 종류—Fusion, Label-Fine-Tuning(LFT), Polite-RL—을 제안한다. LFT와 Polite-RL 모델은 대화 품질을 유지하면서도 유의미하게 더 예의 바르게 생성하며, 인간 평가에서 Fusion 모델과 검색 기반 기준 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Stylistic dialogue response generation, with valuable applications in personality-based conversational agents, is a challenging task because the response needs to be fluent, contextually-relevant, as well as paralinguistically accurate. Moreover, parallel datasets for regular-to-stylistic pairs are usually unavailable. We present three weakly-supervised models that can generate diverse polite (or rude) dialogue responses without parallel data. Our late fusion model (Fusion) merges the decoder of an encoder-attention-decoder dialogue model with a language model trained on stand-alone polite utterances. Our label-fine-tuning (LFT) model prepends to each source sequence a politeness-score scaled label (predicted by our state-of-the-art politeness classifier) during training, and at test time is able to generate polite, neutral, and rude responses by simply scaling the label embedding by the corresponding score. Our reinforcement learning model (Polite-RL) encourages politeness generation by assigning rewards proportional to the politeness classifier score of the sampled response. We also present two retrieval-based polite dialogue model baselines. Human evaluation validates that while the Fusion and the retrieval-based models achieve politeness with poorer context-relevance, the LFT and Polite-RL models can produce significantly more polite responses without sacrificing dialogue quality.

연구 동기 및 목표

• 병렬 훈련 데이터가 필요 없이 스타일적으로 예의 바르거나 무례한 대화 응답을 생성할 수 있는 모델을 개발하는 것.
• 오픈 도메인 대화에서 예의 표현 스타일을 전이하면서 맥락적 관련성과 유창성을 유지하는 것.
• 사전에 트레이닝된 예의 표현 분류기와 쌍방향이 아닌 대화 데이터만을 사용하는 약한 지도 학습 방법을 탐색하는 것.
• 생성 모델에서 예의 표현 수준과 대화 품질 간의 상호 상충 관계를 평가하는 것.
• 연속적인 예의 표현 수준 스펙트럼에 걸쳐 제어 가능한 응답 생성을 가능하게 하는 것.

제안 방법

• Fusion 모델은 대화 모델의 디코더와 독립적인 예의 바른 문장으로 트레이닝된 언어 모델을 후기 융합하여 작동한다.
• Label-Fine-Tuning(LFT) 모델은 훈련 중에 입력 시퀀스의 시작에 연속적인 예의 표현 점수를 반영한 레이블 임베딩을 삽입하여 추론 시 레이블 스케일링을 통해 제어할 수 있도록 한다.
• Polite-RL 모델은 분류기의 연속적인 예의 표현 점수를 기반으로 한 보상 함수를 사용하는 정책 그래เดียน트 강화 학습을 통해 응답 생성을 최적화한다.
• 모든 모델는 시퀀스 투 시퀀스 대화 모델과 최신 기술의 예의 표현 분류기를 기반으로 하여 새로운 아키텍처와의 모odular 통합이 가능하다.
• 비교를 위해 두 가지 검색 기반 기준 모델을 사용한다: 하나는 분류기가 선별한 예의 바른 응답에서 검색하는 모델, 다른 하나는 수작업으로 정제된 예의 바른 문장에서 검색하는 모델.
• Polite-RL 모델의 보상에 기여하는 주요 토큰을 해석하기 위해 중요도 시각화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 병렬 데이터 없이 다양하고 맥락적으로 관련된 예의 바른 대화 응답을 생성할 수 있는가?
• RQ2 스티일 분류기만을 사용하여 생성된 응답의 예의 표현 수준을 제어할 수 있는가?
• RQ3 예의 표현을 우선시하는 모델가 대화 품질과 일관성을 희생시키는가?
• RQ4 생성 모델인지 검색 기반 모델인지, 어느 것이 예의 표현 수준과 맥락적 관련성 사이의 균형을 더 잘 달성하는가?
• RQ5 분류기 기반 보상과 함께 강화 학습이 스타일 기반 응답 생성을 효과적으로 이끄는가?

주요 결과

• LFT와 Polite-RL 모델은 기저의 Seq2seq 모델보다 유의미하게 더 예의 바르게 응답을 생성하면서도 대화 품질을 손상시키지 않았다.
• 인간 평가 결과, LFT와 Polite-RL 모델는 Fusion 모델과 검색 기반 기준 모델과 달리 높은 대화 일관성과 관련성을 유지했다.
• Fusion 모델과 검색 기반 모델은 맥락적 관련성과 유창성을 희생하면서까지 예의 표현 수준을 높였다.
• LFT 모델은 추론 시 레이블 임베딩 스케일링을 통해 예의 표현 수준을 미세 조절할 수 있었다.
• 중요도 시각화 결과, Polite-RL 모델이 '죄송합니다', '先생', '지능적' 등의 핵심 예의 표현 마커를 효과적으로 주목하고 있음을 확인했다.
• 모델들은 심리언어학 문헌에서 정의된 다양한 예의 표현 전략—간접적 표현, 긍정적 어휘, 예의 표현—을 성공적으로 학습하고 적용했다.