[논문 리뷰] JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering

Yueqing Sun, Qi Shi외 2명|arXiv (Cornell University)|2021. 12. 06.

Topic Modeling인용 수 8

한 줄 요약

JointLK는 밀도 높은 양방향 어텐션을 통해 언어모델(LM)과 지식그래프(KG) 표현을 동적으로 융합하는 공동 추론 프레임워크를 제안한다. 이는 다단계 상호작용과 불필요한 KG 노드의 반복적 제거를 가능하게 하여, 공상적 추론 정확도와 해석 가능성 향상에 기여한다. JointLK는 공상적 추론 정확도 향상과 노이즈 감소를 통해 CommonsenseQA 및 OpenBookQA에서 최신 기준 성능을 달성한다.

ABSTRACT

Existing KG-augmented models for commonsense question answering primarily focus on designing elaborate Graph Neural Networks (GNNs) to model knowledge graphs (KGs). However, they ignore (i) the effectively fusing and reasoning over question context representations and the KG representations, and (ii) automatically selecting relevant nodes from the noisy KGs during reasoning. In this paper, we propose a novel model, JointLK, which solves the above limitations through the joint reasoning of LM and GNN and the dynamic KGs pruning mechanism. Specifically, JointLK performs joint reasoning between LM and GNN through a novel dense bidirectional attention module, in which each question token attends on KG nodes and each KG node attends on question tokens, and the two modal representations fuse and update mutually by multi-step interactions. Then, the dynamic pruning module uses the attention weights generated by joint reasoning to prune irrelevant KG nodes recursively. We evaluate JointLK on the CommonsenseQA and OpenBookQA datasets, and demonstrate its improvements to the existing LM and LM+KG models, as well as its capability to perform interpretable reasoning.

연구 동기 및 목표

• 기존의 지식그래프 증강 질문응답 모델에서 언어모델과 지식그래프 간의 상호작용가한 문제를 해결하기 위해.
• 추론 과정에서 검색된 지식하위그래프 내의 노이즈가 많고 관련성이 없는 노드 문제를 극복하기 위해.
• 질문 맥락과 지식그래프 표현 간의 세분화된 다단계 융합을 가능하게 하여 추론 성능을 향상시키기 위해.
• 공동 추론에서 어텐션 가중치를 기반으로 하여 관련성이 없는 노드를 반복적으로 제거하는 동적 제거 메커니즘을 개발하기 위해.
• 복잡한 질문응답 시나리오, 예를 들어 부정문이나 다중 엔터티 질문을 포함한 상황에서 더 정확하고 해석 가능한 공상적 추론을 달성하기 위해.

제안 방법

• JointLK는 밀도 높은 양방향 어텐션을 갖춘 공동 추론 모듈을 사용하여, 각 질문 토큰이 지식그래프 노드를 주시하고, 각 지식그래프 노드가 질문 토큰을 주시할 수 있도록 하여 상호 표현 갱신을 가능하게 한다.
• 모델은 언어와 지식 표현 간의 계층적이고 다단계의 상호작용을 지원하기 위해 다수의 JointLK 레이어를 스택한다.
• 동적 그래프 제거 모듈은 공동 추론 과정에서 어 attention 가중치가 낮은 지식그래프 노드를 반복적으로 제거하여 노이즈를 감소시키고 관련 증거에 집중한다.
• 이 프레임워크는 질문 인코딩을 위한 사전 훈련된 언어모델과 지식그래프 인코딩을 위한 GNN을 통합한 후, 다중 모odal 융합을 수행한다.
• 공동 추론 과정에서 생성된 어텐션 가중치는 각 레이어에서 표현 정교화와 제거 결정을 모두 안내한다.
• 최종 예측은 다층 상호작용과 제거를 거친 후 융합 표현에서 계산된 스칼라 형태의 타당성 점수이다.

실험 결과

연구 질문

• RQ1 언어모델과 지식그래프 간의 공동 추론이 단일 모odal 모델링을 넘어서 공상적 질문응답 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 많은 지식하위그래프 내에서 추론 과정 중 관련성이 없는 노드를 효과적으로 식별하고 제거함으로써 모델의 강건성을 향상시킬 수 있는가?
• RQ3 질문과 지식그래프 표현 간의 다단계, 이중 방향 상호작용이 부정문이나 다중 엔터티를 포함한 복잡한 질문의 추론 성능에 얼마나 기여하는가?
• RQ4 공동 추론에서 유도된 어텐션 메커니즘이 모델 예측에 대한 해석 가능한 증거 경로를 제공할 수 있는가?
• RQ5 지식그래프 노드에 대한 동적 제거가 정적 하위그래프 모델링에 비해 더 정확하고 집중적인 추론을 이끌 수 있는가?

주요 결과

• JointLK는 CommonsenseQA 및 OpenBookQA에서 기존의 독립형 언어모델과 기존의 LM+KG 방법을 모두 능가하는 최신 기준 성능을 달성한다.
• 깊은 다중 모달 상호작용 덕분에, 부정문이나 다중 엔터티를 포함한 복잡한 추론 과제에서 뛰어난 성능을 보인다.
• 동적 제거를 통해 어텐션 가중치를 기반으로 관련성이 없는 노드를 반복적으로 제거함으로써 지식하위그래프의 노이즈를 감소시켜 추론 집중도를 향상시킨다.
• 공동 추론 과정에서 생성된 어텐션 맵은 해석 가능한 증거 경로를 제공하여 모델의 투명성과 추적 가능성을 높인다.
• 오류 분석 결과, 핵심 지식 누락과 모호한 선택지 선택이 주요 실패 원인임을 확인하였으며, 이는 더 완전하고 맥락 민감한 지식기반의 필요성을 강조한다.
• 제거 실험 결과, 공동 추론과 동적 제거 모두 필수적인 구성 요소임을 확인하였으며, 둘 중 하나를 제거할 경우 성능 저하가 심각하게 발생한다.