[논문 리뷰] Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents

Ming Tu, Kevin Huang외 4명|arXiv (Cornell University)|2019. 11. 01.

Topic Modeling참고 문헌 25인용 수 18

한 줄 요약

이 논문은 다수의 문서에 대한 해석 가능한 다단계 추론 독해를 위한 Select, Answer and Explain (SAE) 프레임워크를 제안한다. 먼저 쌍별 학습-순위 매기기 문서 분류기를 사용하여 답변과 관련이 없는 문서를 필터링하고, 이후 교차 작업 주의 메커니즘과 그래프 신경망을 갖춘 다중 작업 모델을 통해 답변과 지원 문장을 동시에 예측한다. 이로써 HotpotQA에서 39.89%의 공동 EM과 66.45%의 F1을 달성하여 경쟁력 있는 성능을 보였다.

ABSTRACT

Interpretable multi-hop reading comprehension (RC) over multiple documents is a challenging problem because it demands reasoning over multiple information sources and explaining the answer prediction by providing supporting evidences. In this paper, we propose an effective and interpretable Select, Answer and Explain (SAE) system to solve the multi-document RC problem. Our system first filters out answer-unrelated documents and thus reduce the amount of distraction information. This is achieved by a document classifier trained with a novel pairwise learning-to-rank loss. The selected answer-related documents are then input to a model to jointly predict the answer and supporting sentences. The model is optimized with a multi-task learning objective on both token level for answer prediction and sentence level for supporting sentences prediction, together with an attention-based interaction between these two tasks. Evaluated on HotpotQA, a challenging multi-hop RC data set, the proposed SAE system achieves top competitive performance in distractor setting compared to other existing systems on the leaderboard.

연구 동기 및 목표

• 답변과 관련이 없는 문서로 인한 혼란을 줄임으로써 다수의 문서에 대한 해석 가능한 다단계 독해 이해 과제를 해결한다.
• 답변 구간과 지원 문장 예측을 동시에 학습하여 답변 예측 및 지원 증거 검색 성능을 향상시킨다.
• 다양한 문서들로부터 명시적으로 지원 문장을 식별하고 설명함으로써 모델의 해석 가능성성을 향상시킨다.
• 기존 방법의 한계, 특히 낮은 설명 가능성과 문서 필터링 부재 문제를 해결하며, 특히 높은 혼란도가 존재하는 환경에서의 성능 향상을 도모한다.
• HotpotQA와 같은 다단계 질문-답변 벤치마크에서 기존 모델을 능가하는 확장성 있고 정확한 시스템을 개발한다.

제안 방법

• 답변과 관련이 없는 문서를 제거하고 관련 있는 문서만 유지하기 위해 새로운 쌍별 학습-순위 매기기 손실을 사용해 훈련된 문서 분류기.
• 토큰 수준에서의 답변 구간 예측과 문장 수준에서의 지원 문장 예측을 동시에 최적화하는 다중 작업 학습 프레임워크.
• 답변 예측과 지원 문장 예측 헤드 간의 주의 기반 상호작용 메커니즘을 통해 교차 작업 추론 성능을 향상시킨다.
• 내부 문서 문장 간 연결, 문서 간 문장 간 연결, 실체 인식 연결을 포함한 세 가지 유형의 간선을 갖춘 그래프 신경망(GNN).
• 하류 예측을 위한 문장 수준 표현을 요약하기 위해 주의 기반 풀링을 사용한 문장 요약.
• 문서 필터링 및 답변/설명 예측 모듈에 대한 입력 표현으로 BERT 기반의 문맥적 임베딩을 사용한다.

실험 결과

연구 질문

• RQ1 문서 필터링 메커니즘이 다단계 다중 문서 독해에서 혼란을 크게 줄이고 성능을 향상시킬 수 있는가?
• RQ2 답변과 지원 문장을 동시에 예측하는 방식이 모델의 해석 가능성성과 성능 향상에 얼마나 효과적인가?
• RQ3 다양한 문서 간 메시지 전달 방식이 다단계 추론에 기여하는 정도는 어떠한가?
• RQ4 답변 예측 헤드와 증거 예측 헤드 간의 주의 기반 상호작용을 통합하면 모델 성능이 향상되는가?
• RQ5 모델은 브릿지 추론 및 비교 추론과 같은 다양한 추론 유형에서 어떻게 성능을 내는가?

주요 결과

• 전체 SAE 모델은 HotpotQA 개발 세트에서 39.89%의 공동 EM과 66.45%의 F1을 달성하여 최신 기준 시스템과 경쟁 가능한 성능을 보였다.
• GNN 모듈을 제거하면 공동 EM이 1.4% 감소하고 F1이 0.9% 감소하여 그래프 기반 메시지 전달이 추론에 있어 중요한 역할을 함을 확인했다.
• 내부 문서 문장 간 연결 간선이 성능 향상에 가장 큰 기여를 하였고, 문서 간 연결 간선 역시 낮지만 의미 있는 성능 향상을 제공하였다.
• 주의 기반 문장 요약을 단순 평균화로 대체할 경우 공동 EM이 약 2% 감소하여 주의 메커니즘이 지원 문장을 요약하는 데 효과적임을 입증했다.
• 모델은 '비교' 추론 유형(51.18% 공동 EM)에서 '브릿지' 유형(37.07% 공동 EM)보다 더 뛰어난 성능을 보였으며, 이는 브릿지 엔티티 식별이 더 어려운 것을 시사한다.
• 주의 히트맵을 통해 모델이 국적을 판단할 때 'american'과 같은 关련 키워드를 정확히 주의 집중함을 시각적으로 확인하여 모델의 해석 가능성성을 검증했다.