[논문 리뷰] Graph-Based Reasoning over Heterogeneous External Knowledge for Commonsense Question Answering

Shangwen Lv, Daya Guo외 8명|arXiv (Cornell University)|2019. 09. 09.

Topic Modeling참고 문헌 29인용 수 21

한 줄 요약

이 논문은 개념넷의 구조화된 지식과 위키백과의 비구조화된 텍스트를 동시에 활용하여 공통된 지식 질문 응답 성능을 향상시키는 그래프 기반 추론 프레임워크를 제안한다. 이질적인 지식 그래프를 구축하고, 그래프 컬러리션 네트워크와 그래프 어텐션 메커니즘을 적용함으로써, 공통 지식QA 데이터셋에서 최신 기술 수준(SOTA)의 정확도 75.3%를 달성하며, 구조화된 그래프 추론을 통한 다양한 지식 소스 통합의 효과성을 입증한다.

ABSTRACT

Commonsense question answering aims to answer questions which require background knowledge that is not explicitly expressed in the question. The key challenge is how to obtain evidence from external knowledge and make predictions based on the evidence. Recent works either learn to generate evidence from human-annotated evidence which is expensive to collect, or extract evidence from either structured or unstructured knowledge bases which fails to take advantages of both sources. In this work, we propose to automatically extract evidence from heterogeneous knowledge sources, and answer questions based on the extracted evidence. Specifically, we extract evidence from both structured knowledge base (i.e. ConceptNet) and Wikipedia plain texts. We construct graphs for both sources to obtain the relational structures of evidence. Based on these graphs, we propose a graph-based approach consisting of a graph-based contextual word representation learning module and a graph-based inference module. The first module utilizes graph structural information to re-define the distance between words for learning better contextual word representations. The second module adopts graph convolutional network to encode neighbor information into the representations of nodes, and aggregates evidence with graph attention mechanism for predicting the final answer. Experimental results on CommonsenseQA dataset illustrate that our graph-based approach over both knowledge sources brings improvement over strong baselines. Our approach achieves the state-of-the-art accuracy (75.3%) on the CommonsenseQA leaderboard.

연구 동기 및 목표

• 이질적인 지식 소스에서 자동으로 증거를 추출하여 공통 지식 질문 응답 과제를 해결하고자 한다.
• 구조화된 지식(개념넷)과 비구조화된 텍스트(위키백과)를 공동으로 활용하여 추론 성능을 향상시키고자 한다.
• 관계적 구조를 포착하고 증거 집합을 지원하는 그래프 기반 표현 및 추론 프레임워크를 개발하고자 한다.
• 그래프 기반 추론을 통해 다수의 지식 소스를 통합할 경우 단일 소스 또는 비그래프 기반 베이스라인에 비해 우수한 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 의미 역할 레이블링(SRL)을 사용하여 개념넷에서 그래프 경로를 추출하고 위키백과에서 삼항관계를 추출하여 지식 그래프를 구축한다.
• 그래프 구조 정보를 활용해 단어 간 거리를 재정의하는 그래프 기반의 문맥적 단어 표현 학습 모듈을 설계한다.
• 이웃 정보를 노드 표현에 인코딩하기 위해 그래프 컬러리션 네트워크(GCN)를 적용한다.
• 최종 답변 예측을 위해 다수의 노드에서 증거를 집계하기 위해 그래프 어텐션 메커니즘을 통합한다.
• XLNet을 백본 언어 모델로 사용하고, 전체 시스템을 공통 지식QA 데이터셋에서 엔드 투 엔드로 미세조정한다.
• 노드가 개념을 나타내고, 두 소스의 관계가 간선이 되는 이질적인 그래프를 구축하여 다단계 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구조화된 지식 소스와 비구조화된 텍스트 소스를 동시에 활용할 경우 공통 지식 질문 응답 성능이 향상되는가?
• RQ2 그래프 기반 표현 학습이 지식 추론 맥락에서 문맥적 단어 표현을 어떻게 향상시키는가?
• RQ3 비그래프 기반 또는 어텐션 미사용 방법에 비해 그래프 어텐션은 증거 집합에 얼마나 기여하는가?
• RQ4 개념넷과 위키백과 지식을 모두 통합할 경우 단독으로 하나의 소스만 사용할 경우보다 성능 향상이 이루어지는가?

주요 결과

• 제안된 모델은 공통 지식QA 벤치마크에서 최신 기술 수준(SOTA)의 정확도 75.3%를 달성하며 강력한 베이스라인을 초월한다.
• 그래프 기반의 문맥적 표현 학습 모듈은 지식 그래프 내의 관계적 의존성을 더 잘 포착함으로써 성능 향상을 이룬다.
• GCN와 그래프 어텐션을 통합한 그래프 기반 추론 모듈은 다단계 증거 집합을 통해 추론 정확도를 크게 향상시킨다.
• 개념넷과 위키백과 양측의 증거를 통합할 경우 성능 향상이 추가로 이루어지며, 이는 이질적 지식 소스의 상호 보완성을 입증한다.
• 오류 분석 결과, 오류의 38%는 모호하거나 매우 유사한 증거에서 기인함을 확인하였으며, 더 풍부한 지식 소스나 더 나은 의미 해석 기법이 향후 성능 향상에 기여할 수 있음을 시사한다.