[논문 리뷰] Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs

Ming Tu, Guangtao Wang외 4명|arXiv (Cornell University)|2019. 05. 17.

Topic Modeling참고 문헌 35인용 수 28

한 줄 요약

이 논문은 다중 문서 간 다단계 추론 독해를 위한 이질적 그래프 기반 모델인 이질적 문서-엔티티(Heterogeneous Document-Entity, HDE) 그래프를 제안한다. 후보자, 문서, 엔티티 노드에 코어텐션과 자기어텐션을 통한 질의 인식 표현을 통합하고, 메시지 전파를 위한 그래프 신경망을 활용함으로써, WikiHop 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 앙상블 모델은 블라인드 테스트 세트에서 인간 성능을 0.2% 초월한다.

ABSTRACT

Multi-hop reading comprehension (RC) across documents poses new challenge over single-document RC because it requires reasoning over multiple documents to reach the final answer. In this paper, we propose a new model to tackle the multi-hop RC problem. We introduce a heterogeneous graph with different types of nodes and edges, which is named as Heterogeneous Document-Entity (HDE) graph. The advantage of HDE graph is that it contains different granularity levels of information including candidates, documents and entities in specific document contexts. Our proposed model can do reasoning over the HDE graph with nodes representation initialized with co-attention and self-attention based context encoders. We employ Graph Neural Networks (GNN) based message passing algorithms to accumulate evidences on the proposed HDE graph. Evaluated on the blind test set of the Qangaroo WikiHop data set, our HDE graph based single model delivers competitive result, and the ensemble model achieves the state-of-the-art performance.

연구 동기 및 목표

• 단일 문서만으로는 질의에 답하기 어려운, 다수의 문서를 걸쳐 다단계 독해 추론을 해결하는 데 도전한다.
• 다양한 정보의 분해능을 갖는 정보에 대한 구조적 추론가 부족한 기존 모델이 단일 유형의 노드에 의존하는 한계를 극복한다.
• 후보자, 문서, 엔티티를 하나의 이질적 그래프로 통합하여 향상된 추론을 위한 통합 프레임워크를 개발한다.
• 코어텐션과 자기어텐션 기반 질의 인식 노드 표현을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 사전학습된 ELMo 임베딩을 사용하지 않고도 WikiHop 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 후보자, 문서, 엔티티의 서로 다른 노드 유형을 갖는 이질적 그래프(Heterogeneous Document-Entity, HDE) 그래프를 구성하며, 이질적 간선을 통해 연결한다.
• 코어텐션과 자기어텐션 기반 메커니즘을 사용해 노드 표현을 초기화하여 질의 인식 컨텍스트 임베딩을 생성한다.
• 메시지 전파를 통해 HDE 그래프 전반에 걸쳐 증거를 집계하는 그래프 신경망(GNN)을 적용하여 다단계 추론을 가능하게 한다.
• 모든 노드 유형에서의 증거를 통합하는 점수 집계 메커니즘을 사용하며, 다양한 간선 유형이 구조적 정보를 유지한다.
• 정답 후보자를 예측하기 위해 후보자 노드 위에 분류 헤드를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 다양한 노드 및 간선 유형이 모델 성능에 기여하는 정도를 평가하기 위해 추론 분석(Ablation studies)을 실시한다.

실험 결과

연구 질문

• RQ1 후보자, 문서, 엔티티와 같은 다양한 분해능을 통합한 이질적 그래프가 문서 수준 QA에서 다단계 추론을 향상시킬 수 있는가?
• RQ2 코어텐션과 자기어텐션 기반 메커니즘이 다중 문서 환경에서 노드 표현 학습에 어떻게 기여하는가?
• RQ3 후보자, 문서, 엔티티와 같은 다양한 노드 유형이 최종 추론 성능에 기여하는 비율은 어떻게 되는가?
• RQ4 이질적 그래프 구조가 다수 문서 간 복잡한 증거 체인을 모델링하는 데 있어 동종 그래프와 비교하여 어떤가?
• RQ5 모델이 다양한 수의 지원 문서와 후보자에 대해 얼마나 일반화되는가?

주요 결과

• HDE 그래프 모델은 WikiHop 블라인드 테스트 세트에서 최신 기술 수준 성능을 달성하였으며, 앙상블 모델은 공식 랭킹에서 1위를 기록하였다.
• 2019년 5월 30일 기준으로, WikiHop 벤치마크에서 앙상블 모델은 인간 성능을 0.2% 초월하였다.
• 단일 모델 버전은 Zhong 등(2019)이 발표한 이전의 SOTA 모델보다 동일한 벤치마크에서 더 높은 성능을 기록하였다.
• 추론 분석 결과, 엔티티 노드를 제거할 경우 성능 저하가 가장 크게 발생했으며(1.0% 정확도 감소), 이는 엔티티 노드가 추론 과정에서 핵심적인 역할을 함을 시사한다.
• 엔티티 노드의 점수 기여도가 후보자 노드보다 더 크며, 후보자 노드를 제거할 경우 1.5%의 성능 저하가 발생한다.
• 지원 문서 수와 후보자 수가 증가함에 따라 성능이 저하되며, 이는 더 큰 그래프에서의 추론 복잡도가 높다는 것을 시사한다.