[논문 리뷰] Generating Informative and Diverse Conversational Responses via Adversarial Information Maximization

Yizhe Zhang, Michel Galley외 5명|arXiv (Cornell University)|2018. 09. 16.

Adversarial Robustness in Machine Learning인용 수 181

한 줄 요약

본 논문은 AIM을 소개하는데, 이는 응답 다양성을 공동으로 촉진하고 상호정보량을 최대화하여 신경 대화 모델의 정보성을 높이는 적대적 학습 프레임워크다.

ABSTRACT

Responses generated by neural conversational models tend to lack informativeness and diversity. We present Adversarial Information Maximization (AIM), an adversarial learning strategy that addresses these two related but distinct problems. To foster response diversity, we leverage adversarial training that allows distributional matching of synthetic and real responses. To improve informativeness, our framework explicitly optimizes a variational lower bound on pairwise mutual information between query and response. Empirical results from automatic and human evaluations demonstrate that our methods significantly boost informativeness and diversity.

연구 동기 및 목표

• 신경망 응답의 밋밋함과 정보성 부족 문제를 해결한다.
• 정보성과 다양성을 구분하고 두 가지를 모두 촉진한다.
• 응답 분포를 인간 데이터와 맞추기 위해 적대적 학습을 활용한다.
• 학습 중 질의와 응답 간 상호정보량을 명시적으로 최대화한다.
• 구조화된 임베딩 기반 판별기와 이중 학습으로 학습을 안정화한다.

제안 방법

• 정방향 생성기 p_theta(T|S)와 임베딩 기반 판별기 D_psi를 사용하여 실제 응답과 합성 응답을 구별한다.
• CNN-LSTM 생성기에 잡음 Z를 주입하여 다양성을 촉진하고, 소프트-아그맥스(soft-argmax)를 통해 미분 가능한 그래디언트를 허용한다.
• 역방향 모델 q_phi(S|T)를 채택하여 상호정보량 I_p_e(S,T)에 대한 변분 하한을 형성한다.
• 공동 AIM 목적 함수 L_AIM = L_GAN + lambda * L_MI를 최적화한다. 여기서 L_MI는 변분 MI 한계(bound)이다.
• forward/backward 모델을 공동으로 학습하고 판별기를 공유하기 위한 이중 적대적 목표(DAIM)를 적용한다.
• MI 항에 대해 그래디언트 분산을 줄이기 위한 결정형 정책 그래디언트 유사한 그래디언트를 사용한다(대안으로 REINFORCE를 사용).
• VIMO에서 영감을 받은 변분 하한을 통해 인코더 결합 분포 p^e(S,T)을 오라클 분포에 맞춘다.

실험 결과

연구 질문

• RQ1 적대적 학습이 관련성을 해치지 않으면서 대화 응답의 다양성을 향상시킬 수 있는가?
• RQ2 변분 MI 한계를 명시적으로 최대화하는 것이 생성된 응답의 정보성을 향상시하는가?
• RQ3 이중 전방-후방 목표가 학습을 안정시키고 다양성 및 정보성을 모두 향상시키는가?
• RQ4 임베딩 기반 판별기가 텍스트 생성을 안내하는 데 이진 분류기와 비교하여 어떤 차이가 있는가?
• RQ5 MMI 및 기초 모델과 비교했을 때 Reddit, Twitter 등의 소셜 미디어 데이터셋에서 정보성 및 다양성의 실증적 이득은 무엇인가?

주요 결과

• AIM은 Reddit 및 Twitter 데이터셋에서 기본 seq2seq 및 cGAN 모델에 비해 정보성과 다양성을 향상시킨다.
• MI 목표는 원천 관련 내용을 보상하고 일반적인 출력은 페널티를 주어 더 정보적인 응답을 생성한다.
• 이중 목표(DAIM)는 AIM에 비해 다양성을 추가로 향상시키고 정보성을 유지한다.
• 사람 평가에서 DAIM은 정보성 측면에서 MMI보다 선호되었고 관련성은 비슷했다; 자동 지표에서는 다양성이 향상되었다.
• 임베딩 기반 판별기와 분산 감소 그래디언트 방법으로 학습을 훈련하여 안정화되고 분포 정합이 개선된다.