[논문 리뷰] Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension

Yichen Jiang, Nitish Joshi외 2명|arXiv (Cornell University)|2019. 06. 12.

Topic Modeling참고 문헌 33인용 수 9

한 줄 요약

이 논문은 다중 호프 추론 독해에서 관련 문서를 추론 트리로 탐색하고 각 경로를 따라 답변을 제안하며, 모든 체인에서 증거를 종합하여 최종 답변을 예측하는 해석 가능한 세 모듈로 구성된 EPAr를 제안한다. WikiHop 및 MedHop에서 최신 기준 성능을 달성하며, 기준 모델에 비해 뚜렷한 향상과 복구 가능한 추론 체인을 통한 높은 해석 가능성 확보.

ABSTRACT

Multi-hop reading comprehension requires the model to explore and connect relevant information from multiple sentences/documents in order to answer the question about the context. To achieve this, we propose an interpretable 3-module system called Explore-Propose-Assemble reader (EPAr). First, the Document Explorer iteratively selects relevant documents and represents divergent reasoning chains in a tree structure so as to allow assimilating information from all chains. The Answer Proposer then proposes an answer from every root-to-leaf path in the reasoning tree. Finally, the Evidence Assembler extracts a key sentence containing the proposed answer from every path and combines them to predict the final answer. Intuitively, EPAr approximates the coarse-to-fine-grained comprehension behavior of human readers when facing multiple long documents. We jointly optimize our 3 modules by minimizing the sum of losses from each stage conditioned on the previous stage's output. On two multi-hop reading comprehension datasets WikiHop and MedHop, our EPAr model achieves significant improvements over the baseline and competitive results compared to the state-of-the-art model. We also present multiple reasoning-chain-recovery tests and ablation studies to demonstrate our system's ability to perform interpretable and accurate reasoning.

연구 동기 및 목표

• 증거가 여러 문서에 산재해 있는 다중 호프 독해 이해 과제를 해결하기 위해.
• 문서 체인의 추론 트리를 구성함으로써 인간과 유사한 굵직한-세밀한 추론을 모델링하기 위해.
• 다양한 분기된 추론 경로를 복구하고 분석함으로써 해석 가능한 추론을 가능하게 하기 위해.
• 모든 타당한 추론 체인에서 증거를 집계하여 답변 예측 성능을 향상시키기 위해.

제안 방법

• 문서 탐색기(Explorer)는 계층적 메모리 네트워크를 사용하여 반복적으로 관련 문서를 선택하고 분기된 경로의 추론 트리를 구축한다.
• 각 호프에서 모델은 질문에 대한 관련성에 따라 문서를 선택하고, 핵심 실체와 관계를 메모리 셀에 업데이트한다.
• 답변 제안기(Proposer)는 조상 문서에 주의를 기울이며, 각 경로의 단말 노드에서 단어 수준 표현을 인코딩하여 후보 답변을 생성한다.
• 증거 집합기(Assembler)는 각 루트에서 단말로 향하는 경로에서 핵심 문장을 추출하고, 이를 종합된 맥락으로 통합하여 최종 답변 예측을 수행한다.
• 전체 시스템은 각 모듈의 손실 합을 최소화하도록 공동 최적화되며, 이는 이전 단계의 출력을 조건으로 한다.
• 외부 관계 주석에 의존하지 않고, 주의 메커니즘과 메모리 기반 기법을 통해 관계를 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 다중 호프 독해에서 모듈형 해석 가능한 아키텍처가 종단 간(end-to-end) 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 다중 문서 맥락에서 다수의 분기된 추론 체인을 효과적으로 탐색하고 표현할 수 있는가?
• RQ3 모델의 추론 과정이 인간에 의해 얼마나 잘 복구되고 해석될 수 있는가?
• RQ4 다양한 추론 경로에서의 증거 집계가 답변 예측 정확도 향상에 기여하는가?
• RQ5 제안된 세 단계(탐색-제안-집합) 아키텍처가 다중 호프 QA 벤치마크에서 강건성과 일반화 능력을 향상시키는가?

주요 결과

• WikiHop 개발 세트에서 EPAr는 이전에 발표된 모든 모델을 압도하며 기준 모델 대비 뚜렷한 향상을 보였다.
• WikiHop 테스트 세트에서 EPAr는 최신 기준 모델과 경쟁 가능한 성능을 기록했다.
• MedHop 랭킹 테스트 세트에서 EPAr는 이전에 발표된 모든 모델을 능가했다.
• 절단 실험 결과, 탐색, 제안, 집합 모듈 각각이 최종 성능에 의미 있는 기여를 했다.
• 추론 체인 복구 테스트 결과, EPAr는 타당한 추론 경로를 재구성하고 추적할 수 있었으며, 이는 모델의 해석 가능성 검증에 기여했다.
• 모델는 나무 구조로 분기된 경로를 표현하고 모든 지점의 증거를 융합함으로써 다중 호프 추론을 효과적으로 처리했다.