[논문 리뷰] Adversarial Learning for Neural Dialogue Generation

Jiwei Li, Will Monroe외 4명|arXiv (Cornell University)|2017. 01. 23.

Topic Modeling참고 문헌 45인용 수 221

한 줄 요약

이 논문은 대립적 강화학습으로 디스크리미네이터에 맞서 대화 생성기를 훈련하여 인간과 유사한 오픈 도메인 응답을 생성하고, 평가를 위한 대립적 평가를 지표로 제안합니다. 표준 Seq2Seq baselines에 비해 여러 측정치에서 개선을 보입니다.

ABSTRACT

In this paper, drawing intuition from the Turing test, we propose using adversarial training for open-domain dialogue generation: the system is trained to produce sequences that are indistinguishable from human-generated dialogue utterances. We cast the task as a reinforcement learning (RL) problem where we jointly train two systems, a generative model to produce response sequences, and a discriminator---analagous to the human evaluator in the Turing test--- to distinguish between the human-generated dialogues and the machine-generated ones. The outputs from the discriminator are then used as rewards for the generative model, pushing the system to generate dialogues that mostly resemble human dialogues. In addition to adversarial training we describe a model for adversarial {\em evaluation} that uses success in fooling an adversary as a dialogue evaluation metric, while avoiding a number of potential pitfalls. Experimental results on several metrics, including adversarial evaluation, demonstrate that the adversarially-trained system generates higher-quality responses than previous baselines.

연구 동기 및 목표

• 최대 우도 학습으로 인한 지루하고 반복적인 응답 문제를 넘어 오픈 도메인 대화 생성을 동기화한다.
• 생성기가 판별기 보상하에서 인간과 구별하기 어려운 대화를 생성하도록 학습하는 대립적 학습 프레임워크를 제안한다.
• 각 생성 단계에서의 보상 제공 전략과 대립적으로 학습된 대화 시스템의 신뢰할 수 있는 평가를 위한 전략을 개발·분석한다.
• 대립적 학습이 상호작용 품질을 향상시키는지, 이러한 모델을 어떻게 강건하게 평가할 수 있는지 조사한다.

제안 방법

• 대화 생성을 생성기 G와 판별기 D를 갖는 강화학습 문제로 형식화한다.
• 대화 이력을 표현하기 위한 계층적 인코더와 응답을 생성하는 Seq2Seq 유사 생성기를 사용한다.
• 생성된 발화에 대한 보상으로 Q+({x,y}) 점수를 판별기 점수로 사용하는 정책기반(REINFORCE) 학습을 사용한다.
• Monte Carlo 탐색이나 부분 시퀀스용으로 설계된 판별기를 통해 중간 보상을 할당하는 REGS(Reward for Every Generation Step) 도입
• 학습의 안정화를 위해 교사강요(교사강제)와 대립적 및 MLE 업데이트를 혼합하는 보상 전략을 포함한다.
• 표준 Seq2Seq 목적과 실제 대규모 데이터에 대한 판별기를 선행 학습한다.

실험 결과

연구 질문

• RQ1 대립적 강화학습이 표준 Seq2Seq 학습보다 더 높은 품질의 오픈 도메인 대화 응답을 생산하는가?
• RQ2 자동 평가자와 대립적 지표를 사용하여 대립적으로 학습된 대화 시스템을 신뢰성 있게 평가하는 방법은 무엇인가?
• RQ3 생성 단계별 보상 vs 전체 시퀀스 보상 중 어떤 보상 구조와 학습 안정화 방법이 대화 품질을 가장 잘 향상시키는가?
• RQ4 대립적 학습이 단일 턴 및 다중 턴 평가에서 강력한 baselines(MLE, MI 재랭크를 포함한 빔 탐색)에 비해 어떤 성능 차이를 보이는가?

주요 결과

Model	AdverSuc	machine-vs-random
MLE-BS	0.037	0.942
MLE-Greedy	0.049	0.945
MMI+ p(t|s)	0.073	0.953
MMI - p(t)	0.090	0.880
Sampling	0.372	0.679
Adver-Reinforce	0.080	0.945
Adver-REGS	0.098	0.952

• 대립적으로 학습된 모델은 평가 기준에서 표준 Seq2Seq baselines보다 더 높은 품질의 대화 응답을 생성한다.
• Adversarial Evaluation via Adversary Success (AdverSuc) 지표에서 제안된 모델들이 평가자를 속이는 데 있어 기준선보다 우수한 성능을 보이며, REGS가 제안된 방법들 중 최상으로 나타났다.
• 인간 평가에 따르면 대립적 프레임워크하에서 단일 턴 및 다중 턴 대화 모두에서 품질이 크게 향상된다.
• Monte Carlo 기반의 중간 보상(REGS)은 AdverSup 실험에서 일반적인 REINFORCE보다 더 나은 성능을 yield한다.
• 표본 추출 기반 디코딩은 AdverSuc를 향상시키지만 기계-대-무작위 구별 가능성을 감소시킬 수 있어 평가상의 주의점이 있다.