[논문 리뷰] Coarse-grain Fine-grain Coattention Network for Multi-evidence Question Answering

Victor W. Zhong, Caiming Xiong외 2명|arXiv (Cornell University)|2019. 01. 03.

Topic Modeling참고 문헌 49인용 수 47

한 줄 요약

Coarse-grain Fine-grain Coattention (CFC) 네트워크를 다-evidence QA를 위해 소개하고, 다수의 문서에 걸친 거친-정밀 추론을 결합하여 사전학습 인코더 없이 WikiHop에서 최첨단 성능을 달성하고 TriviaQA 재랭킹을 개선합니다.

ABSTRACT

End-to-end neural models have made significant progress in question answering, however recent studies show that these models implicitly assume that the answer and evidence appear close together in a single document. In this work, we propose the Coarse-grain Fine-grain Coattention Network (CFC), a new question answering model that combines information from evidence across multiple documents. The CFC consists of a coarse-grain module that interprets documents with respect to the query then finds a relevant answer, and a fine-grain module which scores each candidate answer by comparing its occurrences across all of the documents with the query. We design these modules using hierarchies of coattention and self-attention, which learn to emphasize different parts of the input. On the Qangaroo WikiHop multi-evidence question answering task, the CFC obtains a new state-of-the-art result of 70.6% on the blind test set, outperforming the previous best by 3% accuracy despite not using pretrained contextual encoders.

연구 동기 및 목표

• 다중 문서에 걸쳐 정보를 집계하여 다중 근거 질의응답을 다룬다.
• 긴 문서 모음을 처리하기 위해 거칠게-세밀한 추론을 분리하는 모델을 개발한다.
• 쿼리와 후보에 조건을 맞추기 위해 계층적 coattention과 자기-attention을 활용한다.
• WikiHop과 TriviaQA에서 개선점을 입증하기 위해 평가한다.
• 모델 동작을 이해하기 위해 주의의 계층 구조와 오류 유형을 분석한다.

제안 방법

• 두 가지 모듈 아키텍처를 제안한다: 보조 문서와 쿼리의 상호의존 표현을 coattention으로 구성하고, 거친 요약을 생성하기 위한 자기-주의를 거친-그레이드 모듈로 먼저 수행한다.
• 후보 의존적 세밀 모듈이 각 후보의 언급을 찾고, 이 언급들에 대해 쿼리와의 coattention 맥락을 계산하며 후보를 점수화하기 위해 요약한다.
• 두 모듈 모두 입력의 서로 다른 부분에 초점을 맞추기 위해 계층적 coattention과 자기-주의를 사용한다.
• BiGRU 기반 인코더로 쿼리, 보조 문서, 후보를 인코딩하고, coattention 출력에 거친-그레이드 자기-주의를 적용하며, 핵심어 매칭을 통한 코어퍼런스 유사 추출 기반의 세밀 메커니즘으로 후보 언급에 세밀-주의를 적용하고, 거친-점수와 세밀-점수를 합산하여 최종 후보를 점수화한다.
• 교차 엔트로피 손실로 학습하고, WikiHop(언마스크/마스크)와 TriviaQA에서 평가하며, baselines와 ablations와 비교한다.

실험 결과

연구 질문

• RQ1 다중 근거 질의응답을 명시적으로 거칠기-정밀 추론을 across multiple documents로 모델링함으로써 개선할 수 있는가?
• RQ2 계층적 coattention과 자기-주의가 사전학습 인코더 없이 긴 문서 모음의 더 나은 집계를 가능하게 하는가?
• RQ3 거칠-정밀 구분이 WikiHop과 TriviaQA의 성능 및 오류 패턴에 어떤 영향을 미치는가?

주요 결과

• CFC는 WikiHop 블라인드 테스트에서 70.6% 정확도를 달성하며, 사전학습 컨텍스트 인코더 없이 이전 최상치를 3% 포인트 앞섰다.
• WikiHop dev에서 CFC는 66.4% (Dev) 및 72.1% (Masked Dev)에 도달한다.
• TriviaQA 재랭킹에서 CFC의 EM이 dev 세트에서 3.1%, F1이 3.0% 개선된다.
• 절단 제거 실험에서 거칠-그레이드 모듈과 세밀 모듈 모두 성능에 실질적으로 기여하며, 어느 한 쪽을 제거하면 결과가 저하된다.
• 자체-주의 및 맥락 인코딩은 결정적이며, 인코더 GRU를 단방향 버전이나 평균 풀링으로 대체하면 성능이 감소한다.
• 세밀 모형은 긴 문서가 많을 때 우수하고, 거칠 모형은 문서 수가 적을 때 지배적이다.