[논문 리뷰] DAL: Dual Adversarial Learning for Dialogue Generation

Shaobo Cui, Rongzhong Lian외 4명|arXiv (Cornell University)|2019. 06. 23.

Topic Modeling참고 문헌 35인용 수 10

한 줄 요약

이 논문은 이중 학습과 적대적 훈련을 통해 쿼리 및 응답 생성을 공동 최적화하는 새로운 프레임워크인 이중 적대적 학습(DAL)을 제안한다. 이는 안전한 응답을 줄이고 응답의 다양성과 자연스러움을 향상시키는 데 목적이 있다. DAL은 역방향 생성에서 유도되는 이중 신호와 판별기에서 유도되는 적대적 신호를 활용하여 자동 평가 지표, 인간 평가, 추론 효율성에서 최신 기술을 능가한다.

ABSTRACT

In open-domain dialogue systems, generative approaches have attracted much attention for response generation. However, existing methods are heavily plagued by generating safe responses and unnatural responses. To alleviate these two problems, we propose a novel framework named Dual Adversarial Learning (DAL) for high-quality response generation. DAL is the first work to innovatively utilizes the duality between query generation and response generation to avoid safe responses and increase the diversity of the generated responses. Additionally, DAL uses adversarial learning to mimic human judges and guides the system to generate natural responses. Experimental results demonstrate that DAL effectively improves both diversity and overall quality of the generated responses. DAL outperforms the state-of-the-art methods regarding automatic metrics and human evaluations.

연구 동기 및 목표

• 열린 도메인 대화 생성에서 안전하고 자연스럽지 못한 응답 문제를 해결하기 위해.
• 쿼리와 응답 생성 간의 이중성 특성을 활용하여 응답의 다양성을 향상시키기 위해.
• 적대적 훈련을 통해 인간의 판단을 모방함으로써 응답의 자연스러움을 향상시키기 위해.
• 강화 학습을 피하고 추론 시점의 재정렬 기법(예: MMI)에서 발생하는 비효율성을 방지하는 훈련 시점 솔루션을 개발하기 위해.
• 실제 대화 응용 프로그램에 적합한 품질과 효율성의 높은 성능을 달성하기 위해.

제안 방법

• DAL은 두 개의 생성적 적대적 네트워크(GAN)를 사용한다: 하나는 응답 생성을 위한 것(쿼리 → 응답), 다른 하나는 쿼리 생성을 위한 것(응답 → 쿼리)이며, 이를 이중 작업으로 모델링한다.
• 생성기는 이중성 제약 조건을 통해 정방향 및 역방향 생성 간의 일관성을 강제함으로써 안전한 응답을 줄이고 다양성을 높인다.
• 적대적 훈련은 실제 인간 응답과 생성된 응답을 구분하는 판별기를 사용하여, 생성기가 더 자연스러운 출력을 생성하도록 이끈다.
• 공동 최적화는 두 가지 신호를 사용한다: (1) 이중성 제약 조건에서 유도된 이중 신호, (2) 판별기에서 유도된 적대적 신호로, 양측 모두 훈련 중 활성화된다.
• 역방향 의존성을 훈련 목표에 직접 통합함으로써 강화 학습과 비용이 많이 드는 재정렬을 피한다.
• 모델은 최대우도, 이중성, 적대적 목표를 동시에 최적화하여 엔드 투 엔드로 훈련되며, 이는 효율적이고 고성능의 응답 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 쿼리와 응답 생성 간의 이중 학습이 안전하고 일반적인 응답의 생성을 효과적으로 줄일 수 있는가?
• RQ2 판별기를 활용한 적대적 훈련이 생성된 응답의 자연스러움과 인간다움을 향상시킬 수 있는가?
• RQ3 이중 학습과 적대적 훈련을 함께 통합하면 응답의 다양성과 종합적인 품질이 동시에 향상되는가?
• RQ4 MMI-bidi와 같이 추론 시점 재정렬에 의존하는 방법과 비교할 때 DAL의 효율성은 어떠한가?
• RQ5 적대적 훈련 없이도 이중 신호만으로 표준 Seq2Seq를 초월해 응답 품질을 향상시킬 수 있는가?

주요 결과

• DAL-DuAd는 응답 품질 평가에서 인간 평가 점수 0.778을 기록하여 Seq2Seq 및 기타 기준 모델들을 크게 앞서며 최고의 점수를 기록했다.
• 쌍대 인간 평가에서 DAL-DuAd는 DAL-Dual과의 비교에서 27.5%의 승률을 기록하여 적대적 훈련의 추가적 이점이 있음을 입증했다.
• DAL-Dual은 쌍대 평가에서 Seq2Seq를 30.75%의 승률로 앞서며 이중 신호의 효과를 확인했다.
• 효율성 실험 결과, DAL-Dual과 DAL-DuAd는 Seq2Seq 및 Adver-REIN과 동일한 속도를 기록했으며, 재정렬로 인해 상당히 오래 걸리는 MMI-bidi-5보다는 훨씬 빠른 성능을 보였다.
• 사례 연구 결과, DAL 방법은 기준 모델들이 생성하는 일반적인 응답(예: "I don’t know")과는 달리 더 다양한, 일관성 있고 맥락에 부합하는 응답(예: "You are so cute!" 또는 "It is really amazing!")을 생성하는 것으로 나타났다.
• 평가자 간의 Fleiss의 카파 값은 0.4에서 0.6 사이로, 중간 정도의 일치도를 보이며 인간 평가 결과의 신뢰성을 뒷받침한다.