[논문 리뷰] Weaver: Deep Co-Encoding of Questions and Documents for Machine Reading

Martin Raison, Pierre-Emmanuel Mazaré외 2명|arXiv (Cornell University)|2018. 04. 27.

Topic Modeling참고 문헌 34인용 수 18

한 줄 요약

Weaver는 주어진 질문과 문서를 동시에 공동으로 인코딩하는 깊이 있는 공인코딩 모델을 제안하며, 주목사용에 의존하지 않고 쌓인 상호 연결된 양방향 LSTM을 사용한다. 이 모델은 SQuAD에서 42.3 EM(25개의 검색된 문서 사용 시)을 기록하여 최신 기준 성능을 달성하였고, bAbI 작업의 17/18개를 해결하였으며, 검색이 완벽하지 않은 개방형 질의응답 환경에서 이전 방법들을 크게 능가하였다. 이는 종단간 훈련을 통해 문맥과 질문 표현을 공동으로 학습함으로써 달성된 결과이다.

ABSTRACT

This paper aims at improving how machines can answer questions directly from text, with the focus of having models that can answer correctly multiple types of questions and from various types of texts, documents or even from large collections of them. To that end, we introduce the Weaver model that uses a new way to relate a question to a textual context by weaving layers of recurrent networks, with the goal of making as few assumptions as possible as to how the information from both question and context should be combined to form the answer. We show empirically on six datasets that Weaver performs well in multiple conditions. For instance, it produces solid results on the very popular SQuAD dataset (Rajpurkar et al., 2016), solves almost all bAbI tasks (Weston et al., 2015) and greatly outperforms state-of-the-art methods for open domain question answering from text (Chen et al., 2017).

연구 동기 및 목표

• 다양한 유형의 질문과 장기간의 문맥을 다룰 수 있는 더 견고하고 일반적인 기계독해 모델을 개발하기 위해.
• 새로운 순환 아키텍처를 통해 질문과 문맥을 공동으로 인코딩하여 주목사용 메커니즘에 대한 의존도를 줄이기 위해.
• 검색이 완벽하지 않은 개방형 질의응답 환경에서, 긴 또는 분할된 문맥 스펙트럼을 다룰 때 성능을 향상시키기 위해.
• 문서에 존재하지 않는 단어, 예를 들어 OOV(Out-of-Vocabulary) 단어를 포함한 답변을 생성할 수 있도록 하기 위해.
• 다중 문서에서의 정확도 향상을 통해 파ipeline 시스템의 종단간 성능을 향상시키기 위해, 독해 성분의 정확도를 향상시키기 위해.

제안 방법

• Weaver는 질문과 문서를 동시에 공동으로 인코딩하기 위해 쌓인 상호 연결된 양방향 LSTMs를 사용하며, 이로써 표현 간 깊은 상호연결성을 학습한다.
• 주목사용 메커니즘을 대체하기 위해 계층적이고 공동 인코딩 구조를 도입하여 질문과 문맥 표현의 공동 학습을 가능하게 한다.
• 메모리 네트워크를 영감으로 삼은 답변 레이어가 공동 인코딩된 표현을 기반으로 힙 기반 추론을 수행하여 답변 스팸을 예측한다.
• 스판 기반 질의응답에서 종단간 훈련을 수행하며, 정확 매칭 및 F1 점수 최적화를 위한 손실 함수를 사용한다.
• 절단 실험 결과, RNN 기반 공동 인코딩이 성능 향상의 주요 원인임을 확인하였으며, 컨볼루션 또는 메모리 네트워크와 같은 보조 구성 요소는 아님을 확인하였다.
• CuratedTREC, WebQuestions, WikiMovies와 같은 하류 데이터셋에서 미세조정을 통해 새로운 도메인에 적응시켰다.

실험 결과

연구 질문

• RQ1 순환 네트워크에 기반한 공동 인코딩 모델이 주목사용 기반 모델보다 기계독해에서 성능을 뛰어넘을 수 있는가?
• RQ2 개방형 질의응답 환경에서 검색된 문서 수가 증가함에 따라 공동 인코딩 모델의 성능은 어떻게 변화하는가?
• RQ3 SQuAD에서 훈련된 독해 모델이 bAbI, WikiHop, CuratedTREC와 같은 다양한 데이터셋에서 일반화되어 기존 베이스라인을 능가할 수 있는가?
• RQ4 주목사용 메커니즘을 제거할 경우 성능에 어떤 영향을 미치며, 공동 인코딩이 이를 상쇄할 수 있는가?
• RQ5 문서에 정확히 일치하는 스팸이 없는 답변, 예를 들어 문서에 존재하지 않는 단어를 포함한 답변을 생성할 수 있는가?

주요 결과

• Weaver는 25개의 검색된 위키백과 기사 사용 시 SQuAD 데이터셋에서 42.3 EM을 기록하였으며, 이는 이전에 보고된 최고 성능보다 12점 이상 향상된 결과이다.
• 모델은 bAbI 작업의 17개를 해결하여 다양한 추론 기술에 대한 강력한 일반화 능력을 보였다.
• WikiHop 데이터셋에서 Weaver는 최고 성능을 기록하였으며, 다단계 추론과 짧은 문맥 조각에 대한 강건성을 입증하였다.
• 절단 실험에서 얽힌 RNN 레이어를 제거하면 F1 점수가 33.0으로 떨어지며, 공동 인코딩 메커니즘이 성능 향상의 주요 원인임을 확인하였다.
• CuratedTREC에서의 미세조정은 이전 최고 성능 대비 6.6 EM 향상으로 이어졌으며, 미세조정된 모델로 43.8 EM을 달성하였다.
• 검색된 문서 수가 25개로 증가하더라도 Weaver는 강력한 성능 유지를 유지하였으며, DrQA와 달리 10개 문서에서 성능이 정체되는 경향을 보이지 않았다.