[논문 리뷰] Hierarchical Graph Network for Multi-hop Question Answering

Yuwei Fang, Siqi Sun외 4명|arXiv (Cornell University)|2019. 11. 09.

Topic Modeling참고 문헌 44인용 수 29

한 줄 요약

이 논문은 질문, 단락, 문장, 실체 노드를 통합한 다중 분해능 그래프로 다중 스텝 질문에 대한 답변을 위한 계층적 그래프 네트워크(HGN)를 제안한다. 사전 훈련된 문맥 인코더와 그래프 신경망 전파를 사용하여 지지 사실과 답변을 동시에 예측하며, HotpotQA 벤치마크에서 최신 기술 성능을 달성한다. Fullwiki 설정에서는 85.1%의 공동 F1을 기록하고, Distractor 설정에서는 74.0%를 기록한다.

ABSTRACT

In this paper, we present Hierarchical Graph Network (HGN) for multi-hop question answering. To aggregate clues from scattered texts across multiple paragraphs, a hierarchical graph is created by constructing nodes on different levels of granularity (questions, paragraphs, sentences, entities), the representations of which are initialized with pre-trained contextual encoders. Given this hierarchical graph, the initial node representations are updated through graph propagation, and multi-hop reasoning is performed via traversing through the graph edges for each subsequent sub-task (e.g., paragraph selection, supporting facts extraction, answer prediction). By weaving heterogeneous nodes into an integral unified graph, this hierarchical differentiation of node granularity enables HGN to support different question answering sub-tasks simultaneously. Experiments on the HotpotQA benchmark demonstrate that the proposed model achieves new state of the art, outperforming existing multi-hop QA approaches.

연구 동기 및 목표

• 다중 문서에 산재한 증거를 통합하는 데 도전하는 문제를 해결하기 위해.
• 통합된 그래프 구조에서 이질적이고 다중 분해능 노드를 모델링하여 지지 사실과 답변의 공동 예측을 향상시키기 위해.
• 기존의 실체 그래프 또는 단락 중심 접근 방식이 복잡한 추론과 하위 작업 감독을 지원하지 못하는 한계를 극복하기 위해.

제안 방법

• 질문, 단락, 문장, 실체의 네 가지 노드 유형을 포함한 계층적 그래프를 구성하며, 의미적 및 구조적 링크로 연결한다.
• BERT 및 RoBERTa와 같은 사전 훈련된 언어 모델을 사용하여 문맥 인코딩을 위한 노드 표현을 초기화한다.
• 다중 스텝 추론을 가능하게 하기 위해 그래프 신경망(GNN) 메시지 전파를 적용하여 노드 표현을 다중 스텝에 걸쳐 업데이트한다.
• 업데이트된 노드 표현을 사용하여 단락 선택, 지지 사실 추출, 답변 예측을 동시에 수행한다.
• 문서 내에서 답변 스파니를 식별할 수 있도록 스파니 예측 모듈을 통합한다. 이는 답변이 그래프 내 실체가 아닐 경우에도 가능하다.
• 효율성을 유지하기 위해 추론을 두 스텝 이내로 제한하고, 최대 네 개의 단락까지 허용한다. 슬라이딩 윈도우 또는 장문자 모델을 통해 확장 가능하다.

실험 결과

연구 질문

• RQ1 통합된 다중 분해능 그래프 구조는 다중 스텝 QA에서 지지 사실과 답변의 공동 예측을 효과적으로 지원할 수 있는가?
• RQ2 예를 들어 문장과 실체와 같은 다양한 분해능 수준의 노드를 통합함으로써 실체 중심 또는 단락 중심 그래프에 비해 추론 성능이 향상되는가?
• RQ3 계층적 그래프 전파가 복잡한 추론 작업에서 다중 문서 간 증거 통합에 얼마나 기여하는가?
• RQ4 모델은 다양한 추론 유형(예: 브리지, 비교)과 공통 지식 추론 또는 다중 스텝 실패와 같은 오류 유형에서 어떻게 성능을 발휘하는가?
• RQ5 이 계층적 그래프 프레임워크는 HotpotQA를 초월한 다른 다중 스텝 QA 데이터셋에 일반화될 수 있는가?

주요 결과

• HGN은 HotpotQA Fullwiki 설정에서 85.1%의 공동 F1을 기록하며 새로운 최고 성능을 달성한다.
• Distractor 설정에서는 74.0%의 공동 F1을 기록하여 도전적인 다중 스텝 추론 작업에서 뛰어난 강건성을 보였다.
• 모델은 'comp-yn' 질문에서 가장 뛰어난 성능을 보이며 88.5%의 공동 F1을 기록하여 예/아니오 추론에서 뛰어난 성능을 발휘했지만, '브리지' 및 'comp-span' 유형에서는 성능이 낮았다.
• 오류 분석 결과, 대부분의 실패 원인은 다중 스텝 추론 오류와 MRC에서의 잘못된 스파니 선택에서 기인하며, 추론 경로 학습 향상 여지가 있음을 시사한다.
• 공통 지식 추론과 다수의 유효한 답변이 존재하는 질문(예: '미국 출신' 대비 '미국인 출신')은 주요 오류 원인으로 나타나, 모델이 표면 패턴을 초월한 추론 능력에 한계가 있음을 시사한다.