[논문 리뷰] Dual Ask-Answer Network for Machine Reading Comprehension

Hang Xiao, Feng Wang외 2명|arXiv (Cornell University)|2018. 09. 06.

Topic Modeling참고 문헌 4인용 수 15

한 줄 요약

이 논문은 질문-답변(QA)와 질문 생성(QG)을 함께 학습하기 위해 아키텍처 구성 요소를 공유하고, 문맥, 질문, 답변 간의 다중 모odal 상호작용을 모델링하기 위해 계층적 어텐션을 사용하는 이중 방향 신경 시퀀스 전이 모델인 이중 질문-답변 네트워크(DAANet)를 제안한다. DAANet는 네 개의 공개된 MRC 데이터셋에서 최신 기준 성능을 달성하여, 단일 학습 모델과 이전의 공동 학습 모델보다 QA 및 QG 작업 양쪽 모두에서 뛰어난 성능을 보였다.

ABSTRACT

There are three modalities in the reading comprehension setting: question, answer and context. The task of question answering or question generation aims to infer an answer or a question when given the counterpart based on context. We present a novel two-way neural sequence transduction model that connects three modalities, allowing it to learn two tasks simultaneously and mutually benefit one another. During training, the model receives question-context-answer triplets as input and captures the cross-modal interaction via a hierarchical attention process. Unlike previous joint learning paradigms that leverage the duality of question generation and question answering at data level, we solve such dual tasks at the architecture level by mirroring the network structure and partially sharing components at different layers. This enables the knowledge to be transferred from one task to another, helping the model to find a general representation for each modality. The evaluation on four public datasets shows that our dual-learning model outperforms the mono-learning counterpart as well as the state-of-the-art joint models on both question answering and question generation tasks.

연구 동기 및 목표

• 기계적 독해에서 단일 작업 모델의 한계를 해결하기 위해 질문 답변(QA)과 질문 생성(QG)을 함께 학습하는 것.
• 데이터 또는 손실 수준이 아닌 모델 아키텍처 수준에서 QA와 QG 간의 이중성(duality)을 활용하는 것.
• 대칭적이고 반사된 네트워크 구조를 통해 QA 및 QG 작업 간의 구성 요소를 공유함으로써 일반화 및 표현 학습을 향상시키는 것.
• 아키텍처 공유를 통한 교차 작업 지식 전이가 QA 및 QG 작업 양쪽의 성능 향상에 기여하는지 확인하는 것.
• 스pan 기반 답변을 가정하지 않고도 동일한 모델 아키텍처를 사용하여 답변 생성과 질문 생성을 모두 지원하는 통합 프레임워크를 제공하는 것.

제안 방법

• 질문 답변과 질문 생성 작업 간에 공유되는 구성 요소를 가진 대칭적이고 이중 방향 아키텍처를 사용한다.
• 문맥, 질문, 답변 간의 상호작용을 다중 수준에서 포착하는 계층적 어텐션 메커니즘을 적용한다.
• 네 레이어로 구성된 네트워크로, 문맥, 질문, 답변에 대해 공유된 인코더를 사용한다: 임bedding, 인코딩, 어텐션, 출력 레이어.
• OOV(out-of-vocabulary) 단어를 처리하고 생성 품질을 향상시키기 위해 포인터-생성기 네트워크를 작업 간에 공유한다.
• 학습 중에 질문-문맥-답변 삼중조를 입력으로 제공받으며, 공유 손실 함수를 통해 QA 및 QG 작업을 동시에 학습한다.
• 추론 중에는 모델이 문맥과 상대 모odal(예: 질문과 문맥이 주어졌을 때 답변을 자동으로 생성)에 기반해 자동으로 응답 또는 질문을 생성한다.

실험 결과

연구 질문

• RQ1 질문 답변과 질문 생성 간의 아키텍처 공유가 양쪽 작업의 성능 향상에 기여하는가?
• RQ2 대칭적이고 공유되는 아키텍처를 통해 QA와 QG를 공동으로 학습하는 것이 단일 학습 또는 데이터 수준의 공동 학습보다 더 우수한 일반화 성능을 낳는가?
• RQ3 계층적 어텐션은 문맥, 질문, 답변 간의 다중 모달 상호작용을 얼마나 효과적으로 모델링하는가?
• RQ4 스pan 기반 답변을 가정하지 않고도 모델이 유창하고 정확한 질문과 답변을 생성할 수 있는가?
• RQ5 아키텍처 수준에서의 이중 학습 프레임워크가 데이터 수준 또는 손실 수준의 공동 학습보다 지식 전이를 더 효과적으로 수행하는가?

주요 결과

• DAANet는 SQuAD에서 F1 점수 37.28을 기록하여, 단일 학습 기반 모델과 최신 공동 학습 모델을 모두 초월했다.
• SQuAD 데이터셋에서 DAANet는 단일 학습 모델 대비 F1 점수 10.46 포인트 향상되었고, 가장 우수한 이전 공동 학습 모델 대비 5.43 포인트 향상되었다.
• NewsQA 데이터셋에서는 F1 점수 43.85를 기록하여, 다음으로 우수한 모델보다 4.52 포인트 높게 기록했다.
• 제거 실험 결과, 공유된 구성 요소(예: 별도의 질문/답변 인코더 또는 복사 메커니즘 없음)를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 아키텍처 공유의 중요성을 입증했다.
• 사례 연구 결과, 금본 답변이 제공된 상황에서도 DAANet는 단일 학습 모델보다 더 정확하고 자연스러운 질문과 답변을 생성하는 것으로 나타났다.
• QA 성능는 뛰어나지만, 정렬 기반 평가 지표에서 QG 점수는 QA 성능에 비해 낮게 유지되어 QG가 여전히 더 어려운 작업임을 시사하지만, DAANet는 공동 학습 모델 중에서 QG 영역에서 가장 높은 성능을 기록했다.