[논문 리뷰] Multi-Task Learning with Language Modeling for Question Generation

Wenjie Zhou, Minghua Zhang외 1명|arXiv (Cornell University)|2019. 08. 30.

Topic Modeling참고 문헌 25인용 수 6

한 줄 요약

이 논문은 언어 모델링을 보조 과제로 통합하여 답변 인식 질문 생성을 향상시키는 계층적 다중 과제 학습 프레임워크를 제안한다. 포인터-생성기 모델과 언어 모델링을 공동으로 훈련시킴으로써 인코더는 더 rich한 문맥 표현을 학습하게 되어 더 유창하고 일관성 있는 질문을 생성하게 된다; 이 방법은 SQuAD에서 BLEU-4 점수 16.23, MARCO에서 20.88을 기록하여 최신 기술 수준을 확립하였으며, 인간 평가를 통해 확인되었다.

ABSTRACT

This paper explores the task of answer-aware questions generation. Based on the attention-based pointer generator model, we propose to incorporate an auxiliary task of language modeling to help question generation in a hierarchical multi-task learning structure. Our joint-learning model enables the encoder to learn a better representation of the input sequence, which will guide the decoder to generate more coherent and fluent questions. On both SQuAD and MARCO datasets, our multi-task learning model boosts the performance, achieving state-of-the-art results. Moreover, human evaluation further proves the high quality of our generated questions.

연구 동기 및 목표

• 다중 과제 학습을 활용하여 답변 인식 질문 생성의 품질을 향상시키기 위해.
• 기존 신경망 질문 생성 모델이 유창성과 일관성 측면에서 겪는 한계를 해결하기 위해.
• 언어 모델링을 보조 과제로 삼을 경우 표현 학습이 향상되는지 조사하기 위해.
• 모델의 탄력성과 일반화 능력을 다양한 데이터셋과 특징 설정에서 평가하기 위해.

제안 방법

• 언어 모델링이 질문 생성과 함께 보조 과제로 포함된 계층적 다중 과제 학습 구조를 사용한다.
• 인코더는 단어 임베딩, 답변 위치 임베딩, 어휘적 특징(품사, 명시체, 대소문자)을 입력으로 사용하는 양방향 LSTM을 활용한다.
• 디코더는 강화 학습과 어휘적 특징을 활용한 어휘 기반 포인터-생성 네트워크를 사용하여 질문을 생성한다.
• 언어 모델링은 입력 시퀀스의 다음 및 이전 단어를 예측하도록 훈련되어 인코더의 표현을 풍부하게 한다.
• 공동 모델은 두 과제 간에 인코더를 공유하여 언어 모델링에서 질문 생성으로의 지식 전이를 가능하게 한다.
• 질문 생성 손실과 언어 모델링 손실의 가중 조합을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 언어 모델링을 보조 과제로 통합할 경우 답변 인식 질문 생성에서 생성된 질문의 품질이 향상되는가?
• RQ2 언어 모델링과 질문 생성의 공동 학습이 유창성, 관련성, 문법적 정확성에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 다양한 데이터셋 간에 일반화되며, 어휘적 특징이 제공되지 않을 경우에도 효과를 유지하는가?
• RQ4 보조 언어 모델링 과제가 인코더의 표현 학습을 어느 정도 향상시키는가?

주요 결과

• 제안된 다중 과제 학습 모델은 SQuAD에서 BLEU-4 점수 16.23, MARCO에서 20.88을 기록하여 이전 최신 기술 수준을 모두 초월하였다.
• 언어 모델링과 특징을 포함한 모델은 SQuAD에서 베이스라인 대비 BLEU-4 점수 1.34 향상, MARCO에서는 1.73 향상되었다.
• 어휘적 특징이 없더라도 언어 모델링 보조 과제는 여전히 성능 향상을 이끌어내어 탄력성과 일반화 능력을 입증하였다.
• 인간 평가 결과, SQuAD에서 매칭 점수(1.147 vs. 0.983), 유창성 점수(1.690 vs. 1.573), 관련성 점수(1.600 vs. 1.540)에서 뚜렷한 향상이 있었으며, MARCO에서도 유사한 개선이 관찰되었다.
• 퍼플렉서티와 딱정성 점수는 언어 모델링이 생성된 질문의 유창성과 다양성을 향상시킨다는 것을 확인하였다.
• 제거 분석 결과, 성능 향상은 단순히 추가적인 인코더 레이어를 추가하는 것 때문이 아니라 다중 과제 학습 덕분이었으며, 깊은 네트워크만으로는 결과가 향상되지 않았다.