[논문 리뷰] SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning

Aaron Chan, Jiashu Xu외 4명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 지식 그래프(Goal: Knowledge Graph) 기반 모델의 공공논리 추론 성능을 향상시키기 위해 지식 그래프 기능의 주목적 설명(saliency explanations)으로부터 학습하도록 훈련하는 SalKG 프레임워크를 제안한다. 근본적(지식 그래프의 유용성)과 세밀한(유용한 노드/경로) 설명을 함께 예측함으로써 SalKG는 주목적 메커니즘을 향상시키며, CSQA에서 최대 2.76%의 절대 정확도 향상을 달성한다.

ABSTRACT

Augmenting pre-trained language models with knowledge graphs (KGs) has achieved success on various commonsense reasoning tasks. However, for a given task instance, the KG, or certain parts of the KG, may not be useful. Although KG-augmented models often use attention to focus on specific KG components, the KG is still always used, and the attention mechanism is never explicitly taught which KG components should be used. Meanwhile, saliency methods can measure how much a KG feature (e.g., graph, node, path) influences the model to make the correct prediction, thus explaining which KG features are useful. This paper explores how saliency explanations can be used to improve KG-augmented models' performance. First, we propose to create coarse (Is the KG useful?) and fine (Which nodes/paths in the KG are useful?) saliency explanations. Second, to motivate saliency-based supervision, we analyze oracle KG-augmented models which directly use saliency explanations as extra inputs for guiding their attention. Third, we propose SalKG, a framework for KG-augmented models to learn from coarse and/or fine saliency explanations. Given saliency explanations created from a task's training set, SalKG jointly trains the model to predict the explanations, then solve the task by attending to KG features highlighted by the predicted explanations. On three commonsense QA benchmarks (CSQA, OBQA, CODAH) and a range of KG-augmented models, we show that SalKG can yield considerable performance gains -- up to 2.76% absolute improvement on CSQA.

연구 동기 및 목표

• 지식 그래프를 항상 사용하지만 실제로 어느 시점에나 어떤 부분이 유용한지 학습하지 않는 지식 그래프 기반 모델의 한계를 해결하기 위해.
• 지식 그래프 기능이 예측에 미치는 영향을 측정하는 주목적 설명(saliency explanations)이 주목적 메커니즘 향상에 효과적인 지도 신호로 기능할 수 있는지 탐색하기 위해.
• 주목적 설명을 예측하고 이를 사용해 공공논리 QA 작업에서의 추론 성능을 향상시키는 데 목적이 있는 프레임워크를 개발하기 위해.
• 특히 근본적 및 세밀한 수준에서 함께 사용될 때 주목적 설명이 상호 보완적인 신호로 작용하여 일반화 능력과 성능을 향상시킨다는 것을 입증하기 위해.
• 주목적 기반 지도 신호가 유사한 지식 그래프 패턴에 대한 과적합을 줄이고 다양한 공공논리 추론 벤치마크에서의 강인성을 향상시킬 수 있는지 보여주기 위해.

제안 방법

• 지식 그래프 기반 및 비지식 그래프 기반 모델 간의 성능 차이를 측정하는 앙상블 기반 방법을 사용해 근본적 주목적 설명을 제안한다.
• 기존의 방법(예: 기울기 기반(G×I) 또는 차폐 기반 할당)을 사용해 지식 그래프 노드 및 경로에 대해 세밀한 주목적 설명을 생성한다.
• 모델이 근본적 및 세밀한 주목적 설명을 모두 예측하도록 훈련하고, 이를 바탕으로 지식 그래프 주목적을 안내하는 공동 훈련 프레임워크인 SalKG를 도입한다.
• 이진화된 주목적 점수를 주목적 메커니즘의 지도 타겟으로 사용하여, 모델이 관련된 지식 그래프 구성 요소에만 집중하도록 효과적으로 정규화한다.
• 다단계 훈련 파이프라인을 활용한다: (1) 훈련 데이터에서 주목적 설명 생성, (2) 이러한 설명을 예측하도록 모델 훈련, (3) 예측된 설명에 의해 안내되는 주목적을 사용해 최종 작업에 대해 피니튜닝.
• 근본적 전용, 세밀한 전용, 하이브리드(근본적 + 세밀한) 지도 신호를 모두 지원하여 각 설명 유형의 기여도를 분석할 수 있는 아블레이션 연구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지식 그래프 기능의 주목적 설명이 공공논리 추론에서 지식 그래프 기반 모델의 성능 향상에 효과적인 지도 신호로 기능할 수 있는가?
• RQ2 근본적(지식 그래프의 유용성)과 세밀한(유용한 노드/경로) 설명을 함께 예측하도록 학습하는 것이 표준 엔드 투 엔드 훈련보다 더 나은 일반화 성능을 이끌어내는가?
• RQ3 근본적 및 세밀한 주목적 설명은 각각 주목적을 안내하고 유사한 지식 그래프 패턴에 대한 과적합을 줄이는 데 얼마나 효과적인가?
• RQ4 주목적 설명을 지도 신호로 사용할 경우, CSQA, OBQA, CODAH와 같은 다양한 공공논리 QA 벤치마크에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 주목적 기반 지도 신호가 데이터 효율성과 모델 강인성을 향상시킬 수 있는가, 특히 지식 그래프 커버리지가 불완전하거나 노이즈가 많은 경우에도 말이다?

주요 결과

• SalKG는 CSQA 벤치마크에서 최대 2.76%의 절대 정확도 향상을 달성하여 기준 지식 그래프 기반 모델보다 뚜렷한 성능 향상을 보였다.
• 근본적 및 세밀한 주목적 설명의 조합이 가장 높은 성능 향상을 이끌어내어, 이 둘이 주목적을 안내하는 데 상호 보완적이라는 점을 입증했다.
• OBQA 및 CODAH에서도 SalKG는 다양한 지식 그래프 기반 모델 아키텍처에서 일관되게 성능 향상을 보였으며, 광범위한 적용 가능성을 보였다.
• 실제 주목적 설명을 직접 주목적 마스크로 사용하는 오라클 모델이 뚜렷한 성능 향상을 보였으며, 주목적 기반 지도 신호의 잠재력을 검증했다.
• 모델이 관련 구성 요소를 명시적으로 학습함으로써 유사한 지식 그래프 특징에 대한 과적합을 줄여, 미리 보지 않은 인스턴스에 대한 일반화 능력을 향상시켰다.
• 주목적 설명 생성으로 인해 훈련 시간이 증가하지만, 성능 향상가치가 이를 상쇄하며, 향후 효율성 향상을 위한 최적화가 가능하다.