[논문 리뷰] Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation

Yu Chen, Lingfei Wu외 1명|arXiv (Cornell University)|2019. 08. 14.

Topic Modeling참고 문헌 75인용 수 79

한 줄 요약

본 논문은 텍스트로부터 자연스러운 질문을 생성하기 위해 양방향 그래프 신경망 인코더와 깊은 정렬 네트워크를 갖춘 RL 기반 Graph2Seq 모델을 제시하며, SQuAD에서 최첨단 성능을 달성합니다.

ABSTRACT

Natural question generation (QG) aims to generate questions from a passage and an answer. Previous works on QG either (i) ignore the rich structure information hidden in text, (ii) solely rely on cross-entropy loss that leads to issues like exposure bias and inconsistency between train/test measurement, or (iii) fail to fully exploit the answer information. To address these limitations, in this paper, we propose a reinforcement learning (RL) based graph-to-sequence (Graph2Seq) model for QG. Our model consists of a Graph2Seq generator with a novel Bidirectional Gated Graph Neural Network based encoder to embed the passage, and a hybrid evaluator with a mixed objective combining both cross-entropy and RL losses to ensure the generation of syntactically and semantically valid text. We also introduce an effective Deep Alignment Network for incorporating the answer information into the passage at both the word and contextual levels. Our model is end-to-end trainable and achieves new state-of-the-art scores, outperforming existing methods by a significant margin on the standard SQuAD benchmark.

연구 동기 및 목표

• 구문이 풍부한 텍스트 구조를 그래프로 모델링하여 질문 생성 품질을 향상시킨다.
• 다중 계층의 세부 수준에서 질문 생성을 안내하기 위해 정답 정보를 효과적으로 통합한다.
• 교차 엔트로피와 강화 학습 손실의 하이브리드 목표를 결합하여 학습-추론 간 불일치를 완화한다.
• 다양한 보상 신호를 통해 생성된 질문의 구문적 및 의미적 타당성을 촉진한다.
• 표준 벤치마크에서 평가하여 최첨단 성능을 확인하고 구성 요소의 기여를 분석한다.

제안 방법

• Bidirectional Gated Graph Neural Network(BiGGNN) 인코더를 갖춘 Graph2Seq 생성기를 제안한다.
• 정적(구문 기반) 및 동적(의미 인식) 방법을 사용하여 본문 그래프를 구성한다.
• 단어 수준 및 컨텍스트 수준에서 본문과 정답 정보를 융합하기 위한 Deep Alignment Network(DAN)을 도입한다.
• SCST를 사용하여 교차 엔트로피와 강화 학습의 하이브리드 목적을 가진 평가자를 학습한다.
• BLEU-4 및 Word Mover’s Distance(WMD)로부터의 보상을 적용하여 의미적·구문적 품질을 최적화한다.
• 빔 탐색을 사용하여 SQuAD 데이터셋에서 다수의 기준선과 비교 평가한다.

실험 결과

연구 질문

• RQ1 텍스트의 그래프 구조 표현이 시퀀스 기반 인코더에 비해 자연어 질문 생성을 어떻게 향상시킬 수 있는가?
• RQ2 깊은 정렬 메커니즘을 통해 정답 정보를 통합하는 것이 질문의 관련성과 품질을 향상시키는가?
• RQ3 정적 구문 기반 그래프 구성과 동적 의미 인식 그래프 구성이 QG 성능에 미치는 영향은 무엇인가?
• RQ4 하이브리드 CE+RL 목표가 QG를 위한 순수 CE 학습보다 더 나은 성능을 보일 수 있는가?
• RQ5 제안된 모델이 자동 평가와 인간 평가에서 SQuAD의 최첨단 기준선과 어떻게 비교되는가?

주요 결과

• 제안된 G2S sta +BERT+RL 및 G2S dyn +BERT+RL이 SQuAD 테스트 분할에서 새로운 최첨단 점수를 달성했다.
• 정적 그래프 구성은 일반적으로 지표 전반에서 동적 그래프 구성보다 우수하다.
• DAN을 통해 정답 정보를 도입하면 제거 모델에 비해 BLEU-4(및 다른 지표)가 크게 향상된다.
• REINFORCE로의 미세 조정은 설정 전반의 성능을 추가로 향상시키며, 특히 BERT와 함께 사용할 때 그렇다.
• 사람 평가에서 실제 정답 및 강력한 기준선과 비교해 구문적·의미적 품질이 경쟁력이 있다.
• 절단 분석은 forward/backward 메시지 전달이 가능한 BiGGNN과 DAN이 성능 향상에 결정적임을 보여준다.