[논문 리뷰] A framework for automatic question generation from text using deep reinforcement learning.

Vishwajeet Kumar, Ganesh Ramakrishnan외 1명|arXiv (Cornell University)|2018. 08. 15.

Topic Modeling참고 문헌 3인용 수 37

한 줄 요약

이 논문은 의미적 및 구조적 품질을 향상시키기 위해 생성자와 평가자 모두를 공동 최적화하는 새로운 딥 강화학습 프레임워크를 제안한다. 복사 및 커버리지 메커니즘을 갖춘 구조 및 의미 인식 시퀀스-투-시퀀스 생성을 사용하고, BLEU, GLEU, ROUGE-L 기반의 QG 전용 보상 함수를 통해 훈련함으로써, 자동 평가 및 인간 평가 모두에서 SQuAD 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automatic question generation (QG) is a useful yet challenging task in NLP. Recent neural network-based approaches represent the state-of-the-art in this task. In this work, we attempt to strengthen them significantly by adopting a holistic and novel generator-evaluator framework that directly optimizes objectives that reward semantics and structure. The {\it generator} is a sequence-to-sequence model that incorporates the {\it structure} and {\it semantics} of the question being generated. The generator predicts an answer in the passage that the question can pivot on. Employing the copy and coverage mechanisms, it also acknowledges other contextually important (and possibly rare) keywords in the passage that the question needs to conform to, while not redundantly repeating words. The {\it evaluator} model evaluates and assigns a reward to each predicted question based on its conformity to the {\it structure} of ground-truth questions. We propose two novel QG-specific reward functions for text conformity and answer conformity of the generated question. The evaluator also employs structure-sensitive rewards based on evaluation measures such as BLEU, GLEU, and ROUGE-L, which are suitable for QG. In contrast, most of the previous works only optimize the cross-entropy loss, which can induce inconsistencies between training (objective) and testing (evaluation) measures. Our evaluation shows that our approach significantly outperforms state-of-the-art systems on the widely-used SQuAD benchmark as per both automatic and human evaluation.

연구 동기 및 목표

• 자동 질문 생성(QG)에서 훈련 목표와 평가 지표 간 격차를 해결하기 위해, 이는 종종 모델 행동의 일관성 결여를 초래한다.
• 기본 질문 패턴에 대한 적합성을 직접 최적화하여 생성된 질문의 의미적 및 구조적 정밀도를 향상시키기 위해.
• 훈련을 평가와 일치시키기 위해 강화학습을 통해 통합된 생성자-평가자 프레임워크를 개발하기 위해.
• 생성된 질문의 텍스트 적합성과 답변 적합성을 평가하는 QG 전용 보상 함수를 도입하기 위해.
• 복사 및 커버리지 메커니즘을 통해 핵심 문단 단어의 복제를 줄이고 커버리지 향상을 도모하기 위해.

제안 방법

• 생성자는 복사 및 커버리지 메커니즘으로 강화된 시퀀스-투-시퀀스 모델을 사용하여 문단의 희귀하고 맥락적으로 중요한 키워드를 유지한다.
• 생성자는 질문이 기반으로 삼을 수 있는 문단 내 답변 영역을 예측하도록 훈련되어 답변의 관련성을 확보한다.
• 평가자는 BLEU, GLEU, ROUGE-L와 같은 지표를 사용하여 기준 질문과의 구조적 유사도에 기반해 보상을 부여한다.
• 두 가지 새로운 보상 함수를 도입한다: 하나는 텍스트 적합성(실제 질문의 스타일과 형태에 얼마나 잘 부합하는지)을 평가하고, 다른 하나는 답변 적합성(예측된 답변과 얼마나 잘 일치하는지)을 평가한다.
• 프레임워크는 평가자로부터의 보상을 사용하여 생성자를 강화학습을 통해 최적화함으로써, 훈련 목표를 최종 평가 측정치와 일치시킨다.
• 훈련 과정은 교차 엔트로피 손실에만 의존하는 것과는 달리 평가 지표를 직접 최적화하여, 훈련과 추론 성능 간 격차를 줄인다.

실험 결과

연구 질문

• RQ1 표준 시퀀스-투-시퀀스 모델에 비해 강화학습 기반 프레임워크가 자동 생성된 질문의 의미적 및 구조적 품질을 향상시키는가?
• RQ2 특히 텍스트 적합성과 답변 적합성 측정을 포함한 QG 전용 보상 함수는 생성 과정을 얼마나 효과적으로 이끄는가?
• RQ3 복사 및 커버리지 메커니즘을 통합할 경우, 과도한 반복 없이 핵심 문단 단어의 유지 정도는 어느 정도 향상되는가?
• RQ4 BLEU, ROUGE-L 등의 평가 지표와 훈련 목표를 일치시키면, SQuAD와 같은 표준 벤치마크에서 성능 향상이 이루어지는가?
• RQ5 자동 평가 및 인간 평가 모두에서 제안된 생성자-평가자 프레임워크는 최신 기술 수준의 QG 시스템과 비교해 어떻게 성과를 내는가?

주요 결과

• 제안된 프레임워크는 자동 평가에서 SQuAD 벤치마크에서 최신 기술 수준의 시스템을 크게 능가하며, 표준 지표에서 뛰어난 성능을 보였다.
• 인간 평가 결과로, 이 프레임워크가 생성한 질문은 기존 방법보다 더 유창하고 관련성이 있으며, 구조적으로 더 정확하다고 확인되었다.
• QG 전용 보상 함수의 사용은 답변 적합성과 텍스트 적합성을 향상시켜 환각 현상과 무관한 질문을 줄였다.
• 복사 및 커버리지 메커니즘의 통합은 문단의 핵심 단어를 더 잘 유지시켜, 중복되거나 부적절한 단어 사용을 최소화했다.
• 강화학습 보상과 표준 NLP 평가 지표를 일치시킴으로써, 훈련 목표와 평가 지표 간 격차를 효과적으로 해소했다.
• 교차 엔트로피 손실에만 의존하지 않고도 SQuAD에서 최신 기술 수준의 성능을 달성함으로써, 질문 생성에서 보상 기반 훈련의 유용성을 입증했다.