[논문 리뷰] Multi-style Generative Reading Comprehension

Kyosuke Nishida, Itsumi Saito외 5명|arXiv (Cornell University)|2019. 01. 08.

Topic Modeling참고 문헌 62인용 수 12

한 줄 요약

이 논문은 조건부 포인터-생성기 디코더를 사용하여 질문-문단 쌍으로부터 공동으로 학습함으로써 다양한 답변 스타일(예: 완전한 문장, 간결한 어휘 조합)을 생성할 수 있는 다중 스타일 개괄적 독해 모델인 Masque를 제안한다. 이 모델은 공유된 어텐션과 스타일 조건부 디코딩을 통해 스타일에 영향을 받지 않는 자연어 생성 능력을 타겟 스타일로 전이함으로써 MS MARCO 2.1과 NarrativeQA에서 최신 기준 성능을 달성한다.

ABSTRACT

This study tackles generative reading comprehension (RC), which consists of answering questions based on textual evidence and natural language generation (NLG). We propose a multi-style abstractive summarization model for question answering, called Masque. The proposed model has two key characteristics. First, unlike most studies on RC that have focused on extracting an answer span from the provided passages, our model instead focuses on generating a summary from the question and multiple passages. This serves to cover various answer styles required for real-world applications. Second, whereas previous studies built a specific model for each answer style because of the difficulty of acquiring one general model, our approach learns multi-style answers within a model to improve the NLG capability for all styles involved. This also enables our model to give an answer in the target style. Experiments show that our model achieves state-of-the-art performance on the Q&A task and the Q&A + NLG task of MS MARCO 2.1 and the summary task of NarrativeQA. We observe that the transfer of the style-independent NLG capability to the target style is the key to its success.

연구 동기 및 목표

• 간단한 스펜 추출을 초월하여 다양한 답변 스타일을 생성할 수 있도록 하는 생성형 독해 모델의 격차를 해소하기 위해.
• 각 스타일 별로 별도의 모델이 필요하지 않은 통합 모델을 개발하여 다수의 스타일로 개괄적 답변을 생성할 수 있도록 하기 위해.
• 스타일에 영향을 받지 않는 자연어 생성 능력을 학습하고 이를 타겟 스타일로 효과적으로 전이함으로써 질문-답변에서의 자연어 생성을 향상시키기 위해.
• 독해, 문단 순서 정렬, 답변 가능성 분류 간의 다중 작업 학습을 통합하여 이해 능력을 향상시키기 위해.

제안 방법

• 공유된 질문-문단 리더를 사용하는 트랜스포머 기반 인코더-디코더 아키텍처를 사용하여 공동 표현 학습을 수행한다.
• 질문에서의 어휘 생성, 질문에서의 복사, 다수의 문단에서의 복사 등 세 가지 분포의 혼합을 동적으로 제어하는 조건부 포인터-생성기 디코더를 적용한다.
• 각 디코딩 단계에서 생성 및 복사 분포의 혼합 가중치를 조절하기 위해 스타일당 하나의 인공 토큰을 삽입하는 스타일 조건부 디코더를 도입한다.
• 질문-답변, 문단 순서 정렬, 답변 가능성 분류를 결합한 다중 작업 목적 함수를 기반으로 엔드 투 엔드로 학습한다.
• 내용 선택은 병합 어텐션을 통해 문단 수준에서 수행되어 다수의 증거 자료로부터 효과적인 요약을 가능하게 한다.
• 스타일 전용 레이어 없이 다중 스타일 학습을 구현함으로써 공유된 자연어 생성 능력이 다양한 스타일 간에 전이될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 단일 생성 모델이 독해 작업에서 다양한 답변 스타일(예: 완전한 문장, 어휘 조합 등)을 효과적으로 생성할 수 있는가?
• RQ2 통합 모델 내에서 스타일에 영향을 받지 않는 자연어 생성 능력을 학습하고 특정 타겟 스타일로 효과적으로 전이할 수 있는가?
• RQ3 독해, 문단 순서 정렬, 답변 가능성 분류의 공동 학습이 전체 성능 향상에 어느 정도 기여하는가?
• RQ4 스타일 조건부 혼합 제어 기능을 갖춘 조건부 포인터-생성기 메커니즘이 각 스타일 별로 학습된 모델나 고정된 생성 전략을 가진 모델보다 우수한 성능을 낼 수 있는가?

주요 결과

• Masque는 MS MARCO 2.1의 Q&A 및 Q&A + NLG 작업에서 모두 최신 기준 성능을 달성하였으며, 스펜 추출에 의존하는 이전 모델들을 능가한다.
• Masque는 NarrativeQA의 요약 작업에서도 최신 기준 성능을 달성하여 질문과 문단 입력으로부터 강력한 개괄적 요약 능력을 보여준다.
• 스타일에 영향을 받지 않는 자연어 생성 능력이 타겟 스타일로 전이되는 것이 모델 성공의 핵심 요인으로 확인되었다.
• 스타일 조건부 혼합 제어 기능을 갖춘 조건부 포인터-생성기 디코더는 스타일 별 별도의 레이어 없이도 효과적인 스타일 제어를 가능하게 한다.
• 모델의 성능은 다양한 답변 스타일에 걸쳐 뛰어난 안정성을 보이며, 공유 표현 학습이 일반화 능력을 향상시킨다는 점을 보여준다.
• 문단 순서 정렬 및 답변 가능성 분류와의 다중 작업 학습은 리더 모듈의 전반적인 강건성과 정확도를 향상시킨다.