[논문 리뷰] QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

Michihiro Yasunaga, Hongyu Ren외 3명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 62인용 수 49

한 줄 요약

QA-GNN은 QA 컨텍스트 노드가 있는 작동 그래프를 구축하고, 언어 모델을 이용한 관련도 점수를 적용하며, 주의 집중형 그래프 신경망 추론을 수행하여 질문에 답합니다.

ABSTRACT

The problem of answering questions using knowledge from pre-trained language models (LMs) and knowledge graphs (KGs) presents two challenges: given a QA context (question and answer choice), methods need to (i) identify relevant knowledge from large KGs, and (ii) perform joint reasoning over the QA context and KG. In this work, we propose a new model, QA-GNN, which addresses the above challenges through two key innovations: (i) relevance scoring, where we use LMs to estimate the importance of KG nodes relative to the given QA context, and (ii) joint reasoning, where we connect the QA context and KG to form a joint graph, and mutually update their representations through graph neural networks. We evaluate our model on QA benchmarks in the commonsense (CommonsenseQA, OpenBookQA) and biomedical (MedQA-USMLE) domains. QA-GNN outperforms existing LM and LM+KG models, and exhibits capabilities to perform interpretable and structured reasoning, e.g., correctly handling negation in questions.

연구 동기 및 목표

• 사전 학습된 언어 모델과 지식 그래프를 함께 사용하여 질문에 답하는 문제를 동기 부여하고, LM-전용 및 KG-전용 접근의 한계를 강조합니다.
• QA 컨텍스트와 KG를 공동으로 추론하는 통합 LM+KG 모델을 제시합니다.
• QA 컨텍스트에 조건화된 KG 노드의 관련도 점수를 도입하여 무관한 KG 노드를 제거합니다.
• 작업 그래프에서 주의 기반 GNN을 개발하고, QA 컨텍스트와 KG 표현을 동시에 업데이트합니다.

제안 방법

• QA 컨텍스트를 사전 학습된 LM으로 인코딩하고 질문/답변 엔티티 주위의 KG 부분 그래프를 검색합니다.
• QA 컨텍스트 노드를 도입하고 주제 KG 엔티티와 새로운 관계로 연결하여 공동 추론이 가능하도록 작동 그래프를 구성합니다.
• KG 노드의 관련도 점수를 QA 컨텍스트와 KG 엔티티 텍스트를 연결하여 LM으로 가능성을 평가함으로써 계산합니다.
• 노드 유형, 관계, 관련도 인지 메시지 및 주의 정보를 활용하는 다층 그래프 어텐션 네트워크를 통해 작동 그래프의 표현을 업데이트합니다.
• LM QA 컨텍스트 임베딩, GNN에서 파생된 표현 및 KG의 풀링 표현을 결합하여 MLP를 통해 정답을 예측합니다.
• 이 계산 복잡성을 논의하고 이 추론 작업에 GNN을 사용하는 것을 정당화합니다.

실험 결과

연구 질문

• RQ1 다양한 지식 기반 추론이 필요한 QA 도메인에서 LM만 사용하는 baselines와 기존 LM+KG baselines보다 공동 LM+KG 모델이 성능을 더 낼 수 있는가?
• RQ2 관련도 점수화된 KG 부분 그래프와 공동 QA 컨텍스트–KG 추론이 부정 처리와 같은 구조적 추론 작업의 성능을 개선하는가?
• RQ3 작동 그래프에 대한 주의 집중을 통한 QA-GNN의 해석 가능성 및 추론 자취를 어떻게 제공하는가?
• RQ4 다양한 KG 소스와 함께 상식 및 생의학 QA 도메인에서 접근 방식이 효과적인가?

주요 결과

방법	IHdev-Acc.	IHtest-Acc.
RoBERTa-large (w/o KG)	73.07 (±0.45)	68.69 (±0.56)
+ RGCN Schlichtkrull et al. 2018	72.69 (±0.19)	68.41 (±0.66)
+ GconAttn Wang et al. 2019a	72.61 (±0.39)	68.59 (±0.96)
+ KagNet Lin et al. 2019	73.47 (±0.22)	69.01 (±0.76)
+ RN Santoro et al. 2017	74.57 (±0.91)	69.08 (±0.21)
+ MHGRN Feng et al. 2020	74.45 (±0.10)	71.11 (±0.81)
+ QA-GNN (Ours)	76.54 (±0.21)	73.41 (±0.92)

• QA-GNN은 CommonsenseQA, OpenBookQA, MedQA-USMLE 전반에서 미세 조정된 LM과 이전의 LM+KG 모델보다 우수한 성능을 보인다.
• 구조적 추론이 필요한 문제, 예를 들어 부정 처리에서 특히 성능을 개선하며, CommonsenseQA의 부정 케이스에서 LM 기준선 대비 절대 성능이 최대 4.6% 포인트 증가한다.
• 공동 그래프 구성(QA 컨텍스트가 KG에 연결)과 KG 노드 관련도 점수화가 모두 성능 향상에 기여하는 것으로 나타났다.
• QA-GNN은 단일 경로 추적을 넘어 추론 부분 그래프를 설명으로 추출할 수 있어 해석 가능성을 확장한다.
• CommonsenseQA에서 QA-GNN은 76.54% IHdev 및 73.41% IHtest 정확도를 달성하여 IHtest에서 MHGRN보다 2.3% 포인트 높다.
• OpenBookQA 및 MedQA-USMLE에서도 같은 LM 조건에서 경쟁력 있는 결과를 달성하며 기준선을 초과하거나 일치한다.