[논문 리뷰] Dynamically Fused Graph Network for Multi-hop Reasoning

Yunxuan Xiao, Yanru Qu외 5명|arXiv (Cornell University)|2019. 05. 16.

Topic Modeling참고 문헌 21인용 수 43

한 줄 요약

DFGN은 다중 홉 텍스트 기반 QA를 위한 질의 가이드 동적 엔티티 그래프 추론 모델을 도입하며, 문서-그래프 결합(doc-to-graph)과 그래프-문서 결합(graph-to-doc) 및 추론 체인을 설명하는 약한 지도 마스크를 포함합니다. HotpotQA에서 평가되어 경쟁력 있는 성과를 보였습니다.

ABSTRACT

Text-based question answering (TBQA) has been studied extensively in recent years. Most existing approaches focus on finding the answer to a question within a single paragraph. However, many difficult questions require multiple supporting evidence from scattered text among two or more documents. In this paper, we propose Dynamically Fused Graph Network(DFGN), a novel method to answer those questions requiring multiple scattered evidence and reasoning over them. Inspired by human's step-by-step reasoning behavior, DFGN includes a dynamic fusion layer that starts from the entities mentioned in the given query, explores along the entity graph dynamically built from the text, and gradually finds relevant supporting entities from the given documents. We evaluate DFGN on HotpotQA, a public TBQA dataset requiring multi-hop reasoning. DFGN achieves competitive results on the public board. Furthermore, our analysis shows DFGN produces interpretable reasoning chains.

연구 동기 및 목표

• 증거가 여러 문서에 흩어져 있는 다중 홉 QA의 필요성에 동기 부여.
• 질의에 의해 가이드되는 동적 엔티티 그래프 추론 프레임워크를 제안.
• 문서와 엔티티 그래프 간의 정보 융합을 통해 답변 위치화를 개선.
• 학습된 엔티티 마스크와 약한 지도 학습을 통한 해석 가능한 추론 체인 제공.
• HotpotQA에서 경쟁력 있는 성능과 추론 투명성을 입증하기 위한 평가

제안 방법

• 문단 맥락과 질의로부터 동적, 질의 가이드 엔티티 그래프를 구성한다.
• 질의와 맥락을 BERT와 Bi-Attention으로 인코딩하여 Q0와 C0를 얻는다.
• 퓨전 블록을 사용하여 (a) 토큰을 엔티티로 매핑(Doc2Graph), (b) 소프트 스타트 엔티티 마스크를 사용한 동적 그래프를 전파, (c) 그래프에서 토큰으로 다시 전파(Graph2Doc)한다.
• 소프트 마스크로 선택된 서브그래프에서 정보를 전파하도록 동적 그래프 어텐션을 적용한다.
• 다음 홉에서 질의 표현을 업데이트하고 지원 사실, 시작/종료 위치, 정답 유형을 예측하기 위한 LSTM의 계단식 체인을 사용한다.
• 마스크 예측을 휴리스틱 시작 마스크와 BFS 기반 마스크를 통해 약하게 지도하여 추론 체인을 안내한다.

실험 결과

연구 질문

• RQ1 산재된 증거를 다루는 동적으로 구성된 질의 중심 엔티티 그래프가 다중 홉 추론을 개선할 수 있는가?
• RQ2 동적 융합 및 마스킹 메커니즘의 엔드 투 엔드 학습이 해석 가능한 추론 체인을 만들어내는가?
• RQ3 문서→그래프 및 그래프→문서 융합이 노이즈가 많은 단락과 오픈 도메인 QA에서의 견고성에 어떤 영향을 주는가?
• RQ4 DFGN이 최신 모델과 비교해 HotpotQA에서 어느 정도의 성능을 달성하는가?

주요 결과

• DFGN은 HotpotQA의 디스트랙터 설정에서 경쟁력 있는 결과를 달성한다(예: 베이스라인보다 더 높은 EM/F1 및 미공개 모델과의 경쟁).
• 2-층 퓨전 블록 사용 시 큰 이득이 나타나며, 단일 층 블록은 성능을 저하시켜 다중 홉 추론의 중요성을 강조한다.
• 강화된 NER(BERT NER)을 사용해 구축된 엔티티 그래프가 결합 F1을 약 1.5% 정도 개선한다(보고된 설정에서).
• BFS 기반 지도, 정확한 엔티티 마스킹, 질의 업데이트와 같은 구성 요소가 각각 약 1~2%의 상대적 이득에 기여한다는 중단 효과를 보인다.
• ESP 점수와 분석은 모델이 합리적인 추론 체인을 예측하고 해석 가능한 추론 경로를 노출하지만, NER 한계로 인해 일부 사례에서 지원 엔티티를 놓치는 경우가 있음을 시사한다.