[논문 리뷰] Improving Question Generation With to the Point Context

Jingjing Li, Yifan Gao외 3명|arXiv (Cornell University)|2019. 10. 14.

Topic Modeling참고 문헌 29인용 수 6

한 줄 요약

이 논문은 사실적 정확도와 관련성을 향상시키기 위해 비구조화된 문장과 구조화된 답변 관련 관계를 동시에 활용하는 질문 생성 모델을 제안한다. 구조화된 관계를 '핵심 정보'로 간주함으로써, 모델은 거리 기반 인코딩에 의존하는 것보다 줄이고, 특히 먼 또는 복잡한 답변 관련 문맥에서 최신 기술 성능을 달성한다.

ABSTRACT

Question generation (QG) is the task of generating a question from a reference sentence and a specified answer within the sentence. A major challenge in QG is to identify answer-relevant context words to finish the declarative-to-interrogative sentence transformation. Existing sequence-to-sequence neural models achieve this goal by proximity-based answer position encoding under the intuition that neighboring words of answers are of high possibility to be answer-relevant. However, such intuition may not apply to all cases especially for sentences with complex answer-relevant relations. Consequently, the performance of these models drops sharply when the relative distance between the answer fragment and other non-stop sentence words that also appear in the ground truth question increases. To address this issue, we propose a method to jointly model the unstructured sentence and the structured answer-relevant relation (extracted from the sentence in advance) for question generation. Specifically, the structured answer-relevant relation acts as the to the point context and it thus naturally helps keep the generated question to the point, while the unstructured sentence provides the full information. Extensive experiments show that to the point context helps our question generation model achieve significant improvements on several automatic evaluation metrics. Furthermore, our model is capable of generating diverse questions for a sentence which conveys multiple relations of its answer fragment.

연구 동기 및 목표

• 질문 생성에서 답변 관련 단어가 답변 범위에서 멀리 떨어져 있을 경우 성능이 떨어지는 거리 기반 답변 인식 모델의 한계를 해결하기 위해.
• 입력 문장에서 추출한 구조화된 답변 관련 관계를 통합하여 질문 생성의 충실도와 정보량을 향상시키기 위해.
• 답변 관련 정보가 국소적으로 근접하지 않은 경우에도 다양한 문맥에 맞는 정확한 질문을 생성할 수 있도록 하기 위해.
• 구조화된 관계가 질문 생성에서 관련 문맥을 식별하는 데 있어 단어 간 거리보다 더 신뢰할 수 있는 신호임을 입증하기 위해.

제안 방법

• 모델은 비구조화된 입력 문장과 사전 처리를 통해 추출된 구조화된 답변 관련 관계를 모두 처리하기 위해 듀얼 인코더 아키텍처를 사용한다.
• 구조화된 관계는 (주어, 관계, 목적어) 삼중조로 표현되며, 이는 답변과 관련된 핵심 사실 단위를 포괄한다.
• 게이트된 퓨전 메커니즘이 비구조화된 문장과 구조화된 관계의 표현을 통합하여 질문을 생성한다.
• 모델은 문장과 구조화된 관계 양쪽에서 관련 단어에 주의를 기울일 수 있도록 위치 인식 주의 메커니즘을 적용하고, 이를 학습한다.
• 모델은 답변 위치를 임bedding하기 위해 BIO 태깅 체계를 사용하여 답변 인식 학습을 수행함으로써 정확한 답변 영역에 집중하도록 보장한다.
• 한 문장에 여러 관계를 지원함으로써, 다양한 구조화된 관계를 선택하여 질문 생성의 다양성을 높일 수 있다.

실험 결과

연구 질문

• RQ1 답변 관련 단어가 답변에서 멀리 떨어져 있을 경우, 구조화된 답변 관련 관계가 질문 생성 성능을 향상시킬 수 있는가?
• RQ2 구조화된 관계를 사용함으로써 거리 기반 인코딩에 대한 의존도가 감소하여, 복잡한 문장 구조에서 실패하는 상황을 방지할 수 있는가?
• RQ3 동일한 문장에서 추출한 여러 개의 서로 다른 답변 관련 관계를 활용함으로써, 다양한 사실적으로 정확한 질문을 생성할 수 있는가?
• RQ4 장거리 문맥 상황에서 거리 기반 기준 모델과 비교했을 때, 자동 평가 지표에서 모델의 성능은 어떻게 나타나는가?

주요 결과

• 모델은 BLEU, METEOR, ROUGE-L 지표에서 최신 기술 성능을 달성하였으며, 거리 기반 기준 모델보다 뚜렷한 향상을 보였다.
• 답변 관련 단어가 답변에서 10개 이상의 토큰 떨어져 있는 문장에서는 거리 기반 모델의 성능이 최대 36% 감소하지만, 제안된 모델은 강력한 성능을 유지한다.
• 동일한 문장에서 추출한 여러 관계를 선택하여 질문 다양성을 구현함으로써, 모델이 다양한 질문을 생성함을 입증하였다.
• 구조화된 관계를 '핵심 정보'로 간주함으로써, 예를 들어 괄호 구문을 포함한 복잡한 사실이 혼합된 문장에서 모델의 혼동을 줄일 수 있었다.
• Sun et al. (2018)의 기준 모델보다 평균 9.58 BLEU-1 포인트 높은 성능을 보였으며, 특히 장거리 문맥에서 더 큰 향상을 보였다.
• 제거 실험 결과에서 비구조화된 문장과 구조화된 관계 양측 모두 성능 향상에 기여하고 있음을 확인하였으며, 특히 장거리 문맥에서 구조화된 관계의 기여가 특히 두드러졌다.