[논문 리뷰] BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering

Yu Cao, Meng Fang외 1명|arXiv (Cornell University)|2019. 04. 10.

Topic Modeling참고 문헌 19인용 수 46

한 줄 요약

BAG는 다중 문서 입력에서 엔터티 그래프를 구성하고 다층 특성으로 Relational GCN을 적용한 뒤 그래프와 질의 간의 양방향 주의를 활용하여 WIKIHOP에서 다중 홉 QA의 최첨단 성능을 달성한다.

ABSTRACT

Multi-hop reasoning question answering requires deep comprehension of relationships between various documents and queries. We propose a Bi-directional Attention Entity Graph Convolutional Network (BAG), leveraging relationships between nodes in an entity graph and attention information between a query and the entity graph, to solve this task. Graph convolutional networks are used to obtain a relation-aware representation of nodes for entity graphs built from documents with multi-level features. Bidirectional attention is then applied on graphs and queries to generate a query-aware nodes representation, which will be used for the final prediction. Experimental evaluation shows BAG achieves state-of-the-art accuracy performance on the QAngaroo WIKIHOP dataset.

연구 동기 및 목표

• 문서 간의 다중 홉 QA를 동기화하여 추론이 여러 문서의 엔터티를 포괄하도록 한다.
• 다층 특성을 가진 엔터티 그래프 표현으로 노드 표현을 풍부하게 하기 위해 문서를 구성한다.
• 그래프와 질의 간의 양방향 주의 메커니즘을 도입하여 질의 인식 노드 표현을 도출한다.

제안 방법

• 문서에서 노드가 엔터티 언급이고 간선은 문서 간 또는 문서 내 동일 엔터티를 연결하는 엔터티 그래프를 구성한다.
• 토큰 수준(GLoVe), 맥락적(ELMo) 특징, NER/POS 특징 등 다층 특성과 노드 및 질의의 특징을 추출하고 노드 표현을 집계한다.
• Relational Graph Convolutional Networks(R-GCN)을 사용하여 다홉 그래프에서 관계 인식 표현을 전파한다.
• 그래프 노드(GCN에서 나온 노드)와 질의 간의 양방향 주의 층을 적용하여 질의 인식 노드 표현을 생성한다.
• 반복 후보 노드의 확률을 합산하여 각 노드가 답이 될 확률을 예측하는 2층 피드포워드 출력 층을 사용한다.

실험 결과

연구 질문

• RQ1 그래프 기반의 교차 문서 엔터티 표현이 QA의 다중 홉 추론에 도움이 되는가?
• RQ2 엔터티 그래프와 질의 사이의 양방향 주의 통합이 추론 및 정답 정확도를 향상시키는가?
• RQ3 다층 특성이 그래프 기반 다중 홁 QA 모델의 성능에 어떻게 기여하는가?

주요 결과

모델	비가려지지 않은_dev	비가려지지 않은_test	비가려지지 않은_test1	가려진_dev	가려진_test1
FastQA	27.2*	-	38.5	38.0*	48.3
BiDAF	49.7*	-	45.2	59.8*	57.5
Coref-GRU	56.0*	59.3	57.2	-	-
MHQA-GRN	62.8*	65.4	-	-	-
Entity-GCN	64.8*	67.6	63.1	70.5*	68.1
BAG	66.5	69.0	65.7	70.9	68.9

• BAG는 마스크 여부와 상관없이 WIKIHOP 데이터셋에서 최첨단 정확도를 달성합니다(비마스크 테스트 세트의 테스트 정확도 69.0%, 기존 최고치인 Entity-GCN을 능가).
• 삭제된 양방향 주의 또는 GCN을 제거하면 성능이 저하되어 다중 홉 추론의 중요 구성요소임을 확인합니다.
• 에지 타입 인식(Relational GCN) 및 다층 특성(ELMo 포함)을 사용하면 결과가 크게 향상되며, ELMo를 제거하면 성능이 크게 감소합니다.
• 그래프-질의 양방향 주의는 이 작업에서 단방향 또는 맥락-질의 주의에 비해 상당한 이점을 제공합니다.