[논문 리뷰] Addressing Semantic Drift in Question Generation for Semi-Supervised Question Answering

Shiyue Zhang, Mohit Bansal|arXiv (Cornell University)|2019. 09. 13.

Topic Modeling참고 문헌 62인용 수 11

한 줄 요약

이 논문은 문맥과 답변에 기반하여 생성된 질문의 의미적 이탈을 줄이기 위해 의미 강화 보상인 질문 재구성 확률(QPP)과 질문-답변 확률(QAP)을 제안한다. 이 보상들을 강화학습에 적용함으로써, 텍스트 기반 질문 생성(QG)에서 최신 기술 성능을 달성하였으며, 새로운 기사 없이도 BiDAF 및 BERT QA 모델의 성능을 준위별 데이터 증강을 통해 향상시켰다.

ABSTRACT

Text-based Question Generation (QG) aims at generating natural and relevant questions that can be answered by a given answer in some context. Existing QG models suffer from a "semantic drift" problem, i.e., the semantics of the model-generated question drifts away from the given context and answer. In this paper, we first propose two semantics-enhanced rewards obtained from downstream question paraphrasing and question answering tasks to regularize the QG model to generate semantically valid questions. Second, since the traditional evaluation metrics (e.g., BLEU) often fall short in evaluating the quality of generated questions, we propose a QA-based evaluation method which measures the QG model's ability to mimic human annotators in generating QA training data. Experiments show that our method achieves the new state-of-the-art performance w.r.t. traditional metrics, and also performs best on our QA-based evaluation metrics. Further, we investigate how to use our QG model to augment QA datasets and enable semi-supervised QA. We propose two ways to generate synthetic QA pairs: generate new questions from existing articles or collect QA pairs from new articles. We also propose two empirically effective strategies, a data filter and mixing mini-batch training, to properly use the QG-generated data for QA. Experiments show that our method improves over both BiDAF and BERT QA baselines, even without introducing new articles.

연구 동기 및 목표

• 텍스트 기반 질문 생성(QG)에서 생성된 질문이 문맥과 답변으로부터 의미적으로 벗어나는 의미적 이탈 문제를 해결하기 위해.
• 인간이 애너테이션한 QA 데이터를 모방하는 정도를 측정하는 QA 기반 메트릭을 도입하여 QG 모델 평가를 향상시키기 위해.
• 고품질의 QG 모델을 사용하여 합성 QA 쌍을 생성함으로써 준위별 질문 응답을 향상시키기 위해.
• 합성 QG 데이터를 QA 미세조정에 통합하기 위한 효과적인 전략—데이터 필터링 및 혼합 미니배치 학습—을 개발하기 위해.

제안 방법

• 사전 훈련된 재구성 모델을 사용하여, 생성된 질문이 참조 질문의 재구성일 가능성에 기반한 QPP 보상을 도입한다.
• 사전 훈련된 QA 모델을 사용하여, 주어진 답변이 생성된 질문에 올바르게 대답할 가능성에 기반한 QAP 보상을 도입한다.
• QPP 및 QAP를 사용한 강화학습을 적용하여 QG 모델를 미세조정함으로써, 문맥 및 답변과의 의미적 일치를 유도한다.
• 합성 데이터 생성을 위한 두 가지 방법을 제안한다: 기존의 문맥-답변 쌍에서 여러 질문을 생성하고, 새로운 위키백과 기사에서 QA 쌍을 생성한다.
• 저품질의 합성 QA 쌍을 제거하기 위한 데이터 필터를 구현하고, QA 미세조정 중에 실제 데이터와 합성 데이터를 균형 있게 조합하기 위해 혼합 미니배치 학습을 사용한다.
• 하류 QA 작업을 위한 다운스트림 QG 모델 평가를 위해, 인간이 애너테이션한 질문 생성을 얼마나 잘 모방하는지를 측정하는 QA 기반 메트릭을 사용한다.

실험 결과

연구 질문

• RQ1 의미 강화 보상(QPP 및 QAP)이 질문 생성에서 의미적 이탈을 효과적으로 줄일 수 있는가?
• RQ2 기존의 BLEU와 같은 전통적 메트릭과 비교해, QA 기반 평가 메트릭이 QG 모델의 품질을 더 잘 반영하는가?
• RQ3 QG 모델가 생성한 합성 QA 데이터가 준위별 질문 응답 성능을 향상시킬 수 있는가?
• RQ4 합성 QG 데이터를 QA 훈련에 통합할 때 성능 저하 없이 가장 효과적인 전략은 무엇인가?

주요 결과

• QPP 및 QAP 보상을 모두 적용한 QG 모델은 SQuAD QG 벤치마크에서 새로운 최고 성능을 달성하였으며, BLEU-1은 18.58점, QAP는 50.01점 향상되었다.
• QA 기반 평가 메트릭은 제안된 모델이 인간 애너테이터의 질문 생성 방식을 가장 잘 모방하고 있음을 보여주었으며, H10 데이터에서 베이스라인 대비 60.49/71.81점 향상되었다.
• QG가 생성한 합성 데이터를 사용한 준위별 QA는 새로운 기사 없이도 테스트 세트에서 BiDAF-QA 베이스라인 성능을 1.51/1.13점 향상시켰다.
• QAP 보상만을 사용한 BERT-QG 모델이 전체 QG 성능에서 가장 우수한 성능을 보였으며, 이는 QAP가 QPP보다 독립적으로 더 효과적임을 시사한다.
• 합성 데이터를 사용함으로써 강력한 BERT-QA 베이스라인 성능이 테스트 세트에서 1.19/0.56점 향상되었으며, 새로운 기사가 추가되지 않은 경우에도 0.95/0.13점의 성능 향상이 있었다.
• 합성 데이터 크기가 H2–H4 수준에 도달하면 성능가 포화 상태에 도달함을 확인하여, 데이터 양이 아닌 QG 품질이 향상의 한계를 결정함을 시사한다.