[논문 리뷰] Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Graph Neural Networks

Linfeng Song, Zhiguo Wang외 4명|arXiv (Cornell University)|2018. 09. 06.

Topic Modeling참고 문헌 33인용 수 86

한 줄 요약

해당 논문은 세 가지 간선 유형(동일 엔티티, 코어퍼런스, 윈도우)을 가진 패시지 간 그래프 구조 표현을 구축하고 그래프 신경망(GRN/GCN)을 적용해 다중 히프 독해의 증거 통합을 수행하여 WikiHop과 ComplexWebQuestions에서 추가 주석 없이도 최첨단 결과를 달성한다.

ABSTRACT

Multi-hop reading comprehension focuses on one type of factoid question, where a system needs to properly integrate multiple pieces of evidence to correctly answer a question. Previous work approximates global evidence with local coreference information, encoding coreference chains with DAG-styled GRU layers within a gated-attention reader. However, coreference is limited in providing information for rich inference. We introduce a new method for better connecting global evidence, which forms more complex graphs compared to DAGs. To perform evidence integration on our graphs, we investigate two recent graph neural networks, namely graph convolutional network (GCN) and graph recurrent network (GRN). Experiments on two standard datasets show that richer global information leads to better answers. Our method performs better than all published results on these datasets.

연구 동기 및 목표

• 지역적 코어퍼런스 정보를 넘어선 전역 증거를 연결하여 다중 히프 독해를 동기 부여하고 개선한다.
• 세 가지 간선 유형을 사용하여 패시지 간 엔티티 언급 위에 더 풍부한 그래프 구성을 제안한다.
• 그래프를 인코딩하고 정답 선택을 위한 증거를 통합하기 위해 그래프 신경망(GRN/GCN)을 적용한다.

제안 방법

• 세 가지 간선 유형(동일 엔티티, 코퍼런스, 윈도우 기반 간선)을 사용하여 패시지 간 엔티티 언급과 대명사로부터 그래프를 구성한다.
• 정보를 전파하기 위해 Graph Recurrent Network (GRN) 또는 Graph Convolutional Network (GCN)으로 그래프를 인코딩한다.
• 각 엔티티 언급과 질문을 신경 인코딩으로 표현하고, 그래프 상태 전반에 걸쳐 후보 정답을 점수화하기 위해 가법 어텐션을 수행한다.
• 각 후보에 대한 언급별 점수를 집계하고 최종 확률을 얻기 위해 정규화한다.
• Adam 옵티마이저를 사용한 교차 엔트로피 손실로 엔드 투 엔드 학습한다.
• Local BiLSTM 및 Coref-LSTM/DAG-LSTM 변형을 포함한 기준선과 비교하고 간선 유형에 대한 소거 실험을 수행한다.

실험 결과

연구 질문

• RQ1 여러 간선 유형으로 전역 증거를 풍부하게 하면 텍스트 패시지에 대한 다중 히프 추론이 개선되는가?
• RQ2 MHRC를 위한 더 풍부한 그래프 구조를 인코딩하는 데 있어 GRN과 GCN은 어떻게 비교되는가?
• RQ3 각 간선 유형(동일, 코퍼런스, 윈도우)의 기여도은 전체 성능에서 무엇인가?
• RQ4 표준 MHRC 데이터셋에서 그래프 기반 증거 통합 프레임워크가 DAG 기반 코퍼런스 방법을 능가할 수 있는가?

주요 결과

Model	Dev	Test
GA w/ GRU	54.9	–
GA w/ Coref-GRU	56.0	59.3
Local	61.0	–
Coref LSTM	61.4	–
Coref GRN	61.4	–
MHQA-GCN	62.6	–
MHQA-GRN	62.8	65.4

• MHQA-GRN은 WikiHop 테스트 세트에서 65.4% 정확도를 달성했으며, 제출 시점에 가장 높은 공개 결과이다.
• MHQA-GRN은 일관되게 MHQA-GCN을 능가하며, 두 모델 모두 WikiHop와 ComplexWebQuestions에서 기준선보다 우수하다.
• 소거 실험은 세 가지 간선 유형이 모두 성능 기여를 한다는 것을 보여주며, 윈도우 간선은 동일-코퍼런스 관계보다 영향이 덜하지만 여전히 유익하다.
• WikiHop 개발 세트에서 세 번의 전이(T=3)인 GRN이 최상의 결과를 내며, 더 많은 단계는 노이즈를 유발하고 성능을 저하시킬 수 있다.
• ComplexWebQuestions에서 MHQA-GRN은 Local을 상회하고 추가 주석 없이 SplitQA 접근법을 능가한다(개발 세트 수치: MHQA-GRN 33.2 vs Local 31.2).
• MHQA-GRN은 여러 패시지와 관련 엔터티 간의 증거를 통합하여 상당한 이점을 보여주며, 그래프 기반의 전역 컨텍스트의 가치를 시사한다.