[논문 리뷰] An Adversarial Approach to High-Quality, Sentiment-Controlled Neural Dialogue Generation

Xiang Kong, Bohan Li외 3명|arXiv (Cornell University)|2019. 01. 22.

Topic Modeling참고 문헌 32인용 수 20

한 줄 요약

이 논문은 대화 기록과 감성 레이블을 조건으로 삼아 고품질의 감성 제어가 가능한 신경 대화 생성을 위한 조건부 생성 적대적 네트워크(CGAN) 프레임워크를 제안한다. 여기서 생성자는 대화 기록과 감성 레이블에 조건화된 응답을 생성하고, 판별자는 유창성과 감성 정확성을 강제한다. 이 방법은 자동 평가와 인간 평가 모두에서 최신 기술 수준의 성능을 달성하여 기준 모델 대비 응답 품질과 감성 제어 능력을 크게 향상시킨다.

ABSTRACT

In this work, we propose a method for neural dialogue response generation that allows not only generating semantically reasonable responses according to the dialogue history, but also explicitly controlling the sentiment of the response via sentiment labels. Our proposed model is based on the paradigm of conditional adversarial learning; the training of a sentiment-controlled dialogue generator is assisted by an adversarial discriminator which assesses the fluency and feasibility of the response generating from the dialogue history and a given sentiment label. Because of the flexibility of our framework, the generator could be a standard sequence-to-sequence (SEQ2SEQ) model or a more complicated one such as a conditional variational autoencoder-based SEQ2SEQ model. Experimental results using automatic and human evaluation both demonstrate that our proposed framework is able to generate both semantically reasonable and sentiment-controlled dialogue responses.

연구 동기 및 목표

• 고품질의 의미적으로 적절한 응답을 생성하면서도 감성을 명시적으로 제어할 수 있는 신경 대화 생성 시스템을 개발하는 것.
• 기존 방법들이 감성 제어가 부족하거나 데이터 희소성과 높은 계산 비용 문제를 애초에 앓고 있는 점을 해결하는 것.
• 조건부 적대적 학습을 활용하여 응답의 유창성과 감성 일치를 동시에 최적화하는 것.
• 표준 seq2seq 및 CVAE 기반 모델을 포함한 다양한 생성자 아키텍처와의 탄력적인 통합을 가능하게 하는 것.
• 이산 출력을 위한 정책 그래เดียน트 접근법과 함께 적대적 훈련을 통해 응답의 다양성과 품질을 향상시키는 것.

제안 방법

• 프레임워크는 생성자와 판별자를 갖춘 조건부 GAN(CGAN)을 사용하며, 생성자는 대화 기록과 감성 레이블에 조건화된 응답을 생성한다.
• 판별자는 (대화 기록, 감성 레이블, 응답)의 삼중조가 진짜 데이터인지 생성된 샘플인지 식별하여 진위성을 평가한다.
• 생성자는 판별자가 생성된 응답을 진짜로 판단할 확신을 높이도록 정책 그래디언트를 통해 훈련되어, 유창성과 감성 일치를 향상시킨다.
• 생성자는 표준 순서-순서(SEQ2SEQ) 모델 또는 조건부 변동성 오토인코더(CVAE)-기반 SEQ2SEQ 모델로도 구현할 수 있다.
• 훈련 과정은 생성자가 주어진 감성 레이블과 일치하면서도 자연스러운 응답을 생성하도록 유도하는 적대적 손실을 사용한다.
• 이 프레임워크는 강화 학습을 통한 엔드 투 엔드 훈련을 지원하여 이산적 응답 시퀀스에 대한 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 신경 대화 응답의 유창성과 감성 일관성을 효과적으로 향상시킬 수 있는가?
• RQ2 제안된 CGAN 프레임워크는 대화 기록에 의미적으로 관련된 바탕으로 하면서도 생성된 응답의 감성을 명시적으로 제어할 수 있는가?
• RQ3 응답 품질과 감성 정확성 측면에서 제안된 방법은 기준 모델 대비 어떻게 비교되는가?
• RQ4 CVAE 기반 생성자와 함께 CGAN 프레임워크를 조합하면 응답의 다양성과 품질이 추가로 향상되는가?
• RQ5 적대적 훈련 목표는 다양한 대화 맥락과 감성 레이블에 일반화될 수 있는가?

주요 결과

• 자동 평가에서 CGAN-CVAE 모델은 모든 모델 중에서 가장 낮은 퍼플렉서티(69.54)와 가장 높은 감성 정확도(78.8%)를 기록했다.
• 인간 평가 결과 CGAN-CVAE 모델은 가장 높은 품질 점수(3.9)와 감성 정확도(78.9%)를 기록하여 모든 기준 모델을 압도했다.
• CGAN-CVAE 모델은 더 다양한 맥락에 맞는 응답을 생성했으며, 긍정 감성에 대해선 'omg i love it'과 같은 반응, 부정 감성에 대해선 'that’s the worst'와 같은 반응을 생성했다.
• 표준 SEQ2SEQ 및 CVAE 모델 대비 CGAN 프레임워크가 응답 품질을 크게 향상시켰으며, 기준 SEQ2SEQ 모델 대비 감성 정확도가 20% 향상되었다.
• 판별자가 생성자에게 목표 감성에 부합하면서도 자연스러운 응답을 생성하도록 효과적으로 이끌었으며, 자동 평가와 인간 평가 모두에서 이를 확인했다.
• 이 방법은 다양한 대화 맥락에서 뛰어난 탄력성을 보였으며, 애매하거나 감정적으로 강한 입력에 대해서도 적절한 응답을 생성했다.