[논문 리뷰] Natural Question Generation with Reinforcement Learning Based Graph-to-Sequence Model

Yu Chen, Lingfei Wu외 1명|arXiv (Cornell University)|2019. 10. 19.

Topic Modeling참고 문헌 43인용 수 13

한 줄 요약

이 논문은 자연어 질문 생성을 위한 강화학습 기반의 그래프-시퀀스 모델을 제안한다. 이 모델은 복수의 간선 정보를 포괄하는 이중 방향 게이팅 그래프 신경망(BiGGNN)을 사용해 문장의 구조를 인코딩하고, 답변 정보를 통합하기 위해 심층적 일치 네트워크를 활용한다. 모델은 교차 엔트로피와 강화학습을 조합한 하이브리드 손실을 사용하여 문법적 및 의미적 품질을 향상시키며, SQuAD 데이터셋에서 기존 방법에 비해 뚜렷한 성능 향상을 보이며 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Natural question generation (QG) aims to generate questions from a passage and an answer. In this paper, we propose a novel reinforcement learning (RL) based graph-to-sequence (Graph2Seq) model for QG. Our model consists of a Graph2Seq generator where a novel Bidirectional Gated Graph Neural Network is proposed to embed the passage, and a hybrid evaluator with a mixed objective combining both cross-entropy and RL losses to ensure the generation of syntactically and semantically valid text. The proposed model outperforms previous state-of-the-art methods by a large margin on the SQuAD dataset.

연구 동기 및 목표

• 질문 생성을 위한 순차적-순차적 모델의 한계, 즉 노출 편향과 구조적 모델링 부족 문제를 해결하기 위해.
• 심층적 일치 네트워크를 통해 문장, 답변 및 그들의 전반적 상호작용을 함께 모델링하여 질문의 품질을 향상시키기 위해.
• 교차 엔트로피와 강화학습을 조합한 하이브리드 학습 목표를 통해 문법적 및 의미적 정확성을 향상시키기 위해.
• 순차적 종속성 외의 더 rich한 텍스트 구조를 포착하기 위해 그래프 기반 인코딩을 활용하기 위해.
• 자동 평가 및 인간 평가 지표 모두에서 SQuAD 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이중 방향 게이팅 그래프 신경망(BiGGNN)은 그래프 표현에서 들어오는 및 나가는 간선 정보를 모두 포착하여 문장을 인코딩하는 데 사용된다.
• 심층적 일치 네트워크(DAN)는 GloVe, BERT 및 언어적 특징의 어텐션 기반 융합을 통해 단어 수준 및 은닉 상태 수준에서 문장 및 답변 임베딩 간의 소프트 일치를 수행한다.
• 최종 문장 표현은 순차적-순차적 방식으로 질문을 생성하기 위해 RNN 기반 디코더에 입력된다.
• 하이브리드 평가기(평가자)는 혼합 목표 함수로 훈련되며, 감독 학습을 위한 교차 엔트로피 손실과 자동 평가 지표 최적화를 위한 강화학습 손실의 조합을 포함한다.
• 모델는 엔드 투 엔드로 훈련 가능하며, 인간 평가 보상 기반으로 REINFORCE 알고리즘을 사용해 강화학습 목표를 최적화한다.
• 모델는 BLEU-4, ROUGE 및 문법, 의미, 관련성 측면의 인간 평가를 포함한 SQuAD 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 구조적 인코딩을 갖춘 그래프-시퀀스 모델이 표준 순차적-순차적 모델보다 자연어 질문 생성에서 더 우수한 성능을 내는가?
• RQ2 심층적 일치 네트워크가 답변 정보를 문장 표현에 얼마나 효과적으로 통합하여 질문의 관련성을 향상시키는가?
• RQ3 교차 엔트로피 손실과 강화학습 손실을 조합함으로써 생성된 질문의 문법적 및 의미적 품질이 얼마나 향상되는가?
• RQ4 이중 방향 그래프 인코딩이 문장 내 장거리 의존성 및 전반적 상호작용을 얼마나 잘 모델링하는가?
• RQ5 자동 평가 및 인간 평가 지표 모두에서 제안된 모델은 최신 기술 수준의 방법에 비해 어떻게 비교되는가?

주요 결과

• 제안된 모델은 SQuAD split-2 테스트 세트에서 BLEU-4 점수 18.30을 기록하여 강력한 베이스라인 MPQG+R(17.49)를 뚜렷이 앞서며 성능 향상을 보였다.
• 인간 평가 결과, 문법 정확성은 4.41점, 의미 정확성은 4.31점, 관련성은 3.79점으로 평가되었으며, 각각 기준값(4.74, 4.74, 4.25)에 근접하는 성능를 기록했다.
• 제거 실험 결과, 심층적 일치 네트워크를 제거할 경우 BLEU-4 점수는 12.58로 급격히 감소하여 이 네트워크가 답변 통합에 핵심적인 역할을 한다는 것을 확인했다.
• BiGGNN 구성 요소 역시 중요한 기여를 하였으며, 이를 제거하고 표준 Seq2Seq 모델로 대체할 경우 BLEU-4 점수는 16.14로 감소하였다.
• BERT 임베딩과 강화학습의 사용은 성능 향상에 기여하였으며, 전체 모델(G2S sta + BERT + RL)이 가장 높은 BLEU-4 점수와 인간 평가 점수를 기록하였다.
• 사례 연구 결과, 모델가 베이스라인 대비 더 완전하고 관련성 있으며 문법적으로 정확한 질문을 생성하는 것으로 확인되었으며, 특히 답변 정보가 적절히 일치될 경우에 그 효과가 두드러졌다.