[논문 리뷰] Retrieval-Enhanced Adversarial Training for Neural Response Generation

Qingfu Zhu, Lei Cui외 3명|arXiv (Cornell University)|2018. 09. 12.

Topic Modeling참고 문헌 46인용 수 6

한 줄 요약

이 논문은 신경 응답 생성을 향상시키기 위해 검색 기반 시스템에서 제공하는 N-best 응답 후보를 적대적 훈련 프레임워크에 통합하는 새로운 방법인 Retrieval-Enhanced Adversarial Training(REAT)을 제안한다. 이 후보들을 사용해 생성자에게 지시하는 판별자(디스criminator)를 훈련시킴으로써, REAT은 응답의 다양성과 관련성 모두를 크게 향상시키며, 자동 평가와 인간 평가 모두에서 기존의 순수 Seq2Seq 및 전통적인 적대적 훈련 기반 모델들을 능가한다.

ABSTRACT

Dialogue systems are usually built on either generation-based or retrieval-based approaches, yet they do not benefit from the advantages of different models. In this paper, we propose a Retrieval-Enhanced Adversarial Training (REAT) method for neural response generation. Distinct from existing approaches, the REAT method leverages an encoder-decoder framework in terms of an adversarial training paradigm, while taking advantage of N-best response candidates from a retrieval-based system to construct the discriminator. An empirical study on a large scale public available benchmark dataset shows that the REAT method significantly outperforms the vanilla Seq2Seq model as well as the conventional adversarial training approach.

연구 동기 및 목표

• 시퀀스 투 시퀀스 모델이 다양하고 정보적인 응답을 생성하는 데에 한계가 있음을 해결하기 위해 외부 검색 기반 후보를 통합한다.
• 기존의 검색 기반 증강 생성 모델에서 최대우도추정(MLE) 목표와 응답 품질 간의 약한 상관관계를 해결한다.
• N-best 응답 후보를 조건으로 삼아 적대적 훈련의 판별자를 향상시켜 인간의 응답을 더 잘 구분할 수 있도록 한다.
• 실제 검색 후보를 기반으로 훈련된 판별자를 통해 생성자가 더 다양한 문맥 기반 응답을 생성할 수 있도록 한다.

제안 방법

• REAT 프레임워크는 생성자와 판별자를 포함한 인코더-디코더 아키텍처를 사용하며, 적대적 훈련을 통해 응답을 생성하고 평가한다.
• 판별자는 인간의 실제 응답과 검색 기반 시스템에서 제공하는 N-best 응답 후보를 모두 사용해 훈련되어 정확도와 일반화 능력이 향상된다.
• N-best 응답 후보는 판별자의 참조 입력으로 사용되어 콘텐츠의 다양성과 관련성을 반영하는 분류 신호를 학습할 수 있도록 한다.
• 생성자는 판별자를 속이도록 훈련되어 후보에서 유의미하고 다양한 내용을 통합하도록 유도된다.
• 판별자와 생성자 각각에서 후보의 기여도를 분리하여 평가하기 위해 두 가지 변형(D+와 G+)을 도입하였으며, 이는 후보의 공동 활용의 효과를 검증한다.
• 자동 평가 지표(Dist-1, Dist-2, Originality)와 인간 평가를 통해 응답 품질을 평가하며, 전체적으로 적대적 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 MLE 기반 훈련과 비교해, 검색 기반 증강 판별자를 사용한 적대적 훈련이 응답의 다양성과 정보성 향상에 기여하는가?
• RQ2 N-best 응답 후보를 조건으로 삼아 판별자를 훈련할 경우, 실제 응답과 생성된 응답을 구분하는 능력은 어떻게 변화하는가?
• RQ3 검색 후보가 생성자가 더 다양한 문맥 기반 응답을 생성하는 데에 얼마나 기여하는가?
• RQ4 생성자와 판별자 양쪽 모두에서 후보를 사용할 경우, 한쪽에서만 사용할 경우보다 성능 향상이 이루어지는가?
• RQ5 자동 평가와 인간 평가에서 REAT은 최신의 검색 기반 증강 및 적대적 훈련 방법들과 비교해 어떤가?

주요 결과

• REAT은 자동 평가와 인간 평가 모두에서 순수 Seq2Seq 모델과 기존의 적대적 훈련(AL) 기반 모델을 뛰어넘어 효과성을 입증한다.
• REAT를 사용할 경우 Dist-2 점수가 AL 대비 0.112 증가(0.124 → 0.236)하여 통계적으로 유의미한 향상(p < 0.01)을 보이며, n-gram 다양성이 향상됨을 시사한다.
• Dist-2 향상 폭은 MLE 기반 검색 기반 증강 모델 대비 상당히 크며(0.062 증가), 이는 적대적 훈련이 검색 후보를 더 효과적으로 활용함을 보여준다.
• 후보를 생성자에서만 사용하는 변형(G+)은 판별자에서만 사용하는 변형(D+)보다 더 큰 성능 향상을 보였지만, 양쪽 모두에서 사용하는 Ours가 가장 우수한 성능을 기록하여 공동 활용의 이점이 입증된다.
• 인간 평가에서는 정보성과 적절성에 대해 상당한 일致성(kappa > 0.6)을 보이며, 모델이 고품질의 문맥 기반 응답을 생성함을 확인한다.
• 그림 2에서 보듯이, REAT는 일반적인 표현을 피하고 'Unicom'과 'Telecom'과 같은 관련 콘텐츠를 후보에서 통합함으로써 더 다양한 정보성 있는 응답을 생성한다.