[논문 리뷰] Answer-based Adversarial Training for Generating Clarification Questions

Sudha Rao, Hal Daumé|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling참고 문헌 35인용 수 41

한 줄 요약

본 논문은 질의 생성기가 명확화 질문을 만들고, 시뮬레이션된 답변 생성기를 갖춘 유틸리티 기반 판별기가 유용성을 판단하는 GAN에서 영감을 받은 적대적 프레임워크를 제시하며, 기반 모델 대비 특이성 및 유용성을 향상시킨다.

ABSTRACT

We present an approach for generating clarification questions with the goal of eliciting new information that would make the given textual context more complete. We propose that modeling hypothetical answers (to clarification questions) as latent variables can guide our approach into generating more useful clarification questions. We develop a Generative Adversarial Network (GAN) where the generator is a sequence-to-sequence model and the discriminator is a utility function that models the value of updating the context with the answer to the clarification question. We evaluate on two datasets, using both automatic metrics and human judgments of usefulness, specificity and relevance, showing that our approach outperforms both a retrieval-based model and ablations that exclude the utility model and the adversarial training.

연구 동기 및 목표

• 주어진 맥락에서 정보의 공백을 채우기 위한 명확화 질문의 자동 생성을 촉진한다.
• 가설적 답변을 잠재 변수로 활용하여 더 정보성이 높은 질문으로 생성을 유도한다.
• 질문에 대한 맥락을 답변으로 업데이트하는 유틸리티를 판별기가 추정하는 생성자-판별자 구조를 개발한다.
• 실세계 데이터셋(Amazon 상품 설명 및 Stack Exchange 포스트)에서 자동 지표와 인간 판단을 모두 사용하여 평가한다.

제안 방법

• 주어진 맥락에서 질문을 생성하기 위해 어텐션을 갖춘 시퀀스-투-시퀀스 인코더-디코더를 사용한다.
• 별도의 답변 생성기를 사용하여 질문에 대한 가설적 답을 생성한다.
• 생성자에 대한 보상으로 (맥락, 질문, 답변) 트리플의 유용성을 추정하는 유틸리티 계산기를 학습시킨다.
• 유틸리티 보상을 최적화하기 위해 Mixer 기반 강화 학습 objective를 채택하고 최대우도(ML)으로 워밍업한다.
• 유틸리티 계산기를 GAN 설정의 판별기로 재해석하고 생성기와 유틸리티 판별기를 최소-극대 프레임워크로 학습한다.
• 생성기와 답변 생성기를 사전 학습시키고, 적대적 목적하에서 공동으로 학습하며, 분산 감소를 위한 자기 비판 기반 baseline을 사용한다.

실험 결과

연구 질문

• RQ1 생성 모델이 검색 기반 방법보다 성능이 우수한가?
• RQ2 유틸리티 보상을 최적화하는 것이 최대우도 학습보다 개선되는가?
• RQ3 적대적 학습이 유틸리티-전용 강화 학습보다 더 향상되는가?
• RQ4 생성된 질문이 인간 판단에 따라 더 높은 유용성과 특이성을 보이는가?

주요 결과

Model	다양성 (Amazon)	Bleu (Amazon)	Meteor (Amazon)	다양성 (StackExchange)	Bleu (StackExchange)	Meteor (StackExchange)
Reference	—	—	—	—	—	—
Lucene	0.6289	4.26	10.85	0.7453	1.63	7.96
MLE	0.1059	17.02	12.72	0.2183	3.49	8.49
Max-Utility	0.1214	16.77	12.69	0.2508	3.89	8.79
GAN-Utility	0.1296	15.20	12.82	0.2256	4.26	8.99

• GAN-Utility는 Amazon 데이터셋에서 다양성 측면에서 절단 실험(Ablation) 및 베이스라인을 능가한다.
• GAN-Utility가 다른 모델보다 유용성 및 특이성에 대한 인간 판단이 더 강하게 나타난다.
• Stack Exchange에서 GAN-Utility가 bleu와 meteor에서 베이스라인을 능가하고 더 높은 다양성을 보인다.
• Max-Utility는 일부 경우에 더 높은 다양성을 보이지만 문법성은 낮은 편이며; GAN-Utility는 품질과 특이성의 균형을 이룬다.
• 전반적으로 적대적 학습은 MLE 및 유틸리티-전용 접근법에 비해 더 유용하고 맥락에 특화된 명확화 질문을 산출한다.