[논문 리뷰] Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models

Jinhao Jiang, Kun Zhou외 2명|arXiv (Cornell University)|2022. 05. 04.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 공용지식 지식 그래프(CSKG)에서 유의미한 관계 경로를 활용하여 사전학습된 언어 모델(PTM)의 공용지식 추론 성능을 향상시키는 경량의 MLP 기반 지식 인코더인 SAFE(Simple Attention-based Encoder)를 제안한다. 복잡한 GNN 기반 인코더와는 달리, SAFE는 1% 미만의 학습 가능 파라미터를 사용하면서도 다섯 가지 벤치마크에서 최고 수준 또는 경쟁 가능한 성능을 달성하여, 성능 향상의 핵심은 노드 특징이 아니라 관계 특징임을 입증한다.

ABSTRACT

Commonsense reasoning in natural language is a desired ability of artificial intelligent systems. For solving complex commonsense reasoning tasks, a typical solution is to enhance pre-trained language models~(PTMs) with a knowledge-aware graph neural network~(GNN) encoder that models a commonsense knowledge graph~(CSKG). Despite the effectiveness, these approaches are built on heavy architectures, and can't clearly explain how external knowledge resources improve the reasoning capacity of PTMs. Considering this issue, we conduct a deep empirical analysis, and find that it is indeed relation features from CSKGs (but not node features) that mainly contribute to the performance improvement of PTMs. Based on this finding, we design a simple MLP-based knowledge encoder that utilizes statistical relation paths as features. Extensive experiments conducted on five benchmarks demonstrate the effectiveness of our approach, which also largely reduces the parameters for encoding CSKGs. Our codes and data are publicly available at https://github.com/RUCAIBox/SAFE.

연구 동기 및 목표

• 외부 공용지식이 사전학습된 모델(PTM)의 추론 능력을 어떻게 향상시키는지 이해하기 위해
• 공용지식 추론 성능 향상에 기여하는 지식 자원의 핵심 구성 요소를 규명하기 위해
• 모델 복잡도를 줄이면서도 성능을 유지하거나 향상시킬 수 있는 경량이고 해석 가능한 지식 인코더를 설계하기 위해

제안 방법

• 노드 특징과 관계 특징이 CSKG에서 PTM 성능에 기여하는 정도를 분리하기 위해 실증 분석을 수행하기 위해
• 통계적 관계 경로를 입력 특징으로 사용하는 단순한 MLP 기반 지식 인코더(SAFE)를 설계하기 위해
• 최단경로 또는 서브그래프 추출 기법을 사용하여 CSKG(예: ConceptNet, ATOMIC)에서 관계 경로를 추출하기 위해
• 피팅 테이닝 중에 SAFE 인코더를 사전학습된 모델과 통합하여 추론 능력을 향상시키기 위해
• 최소한의 아키텍처 오버헤드로 다중 선택 공용지식 추론 데이터셋에서 엔드 투 엔드 모델을 훈련하기 위해
• GNN 기반 베이스라인과의 성능 및 파라미터 효율성 비교를 위해 다섯 가지 벤치마크 데이터셋에서 모델을 평가하기 위해

실험 결과

연구 질문

• RQ1 공용지식 지식 그래프(CSKG)의 어떤 구성 요소가 공용지식 추론 작업에서 PTM 성능 향상에 가장 중요한가?
• RQ2 관계 경로 특징만을 사용할 경우, 단순한 MLP 기반 인코더가 복잡한 GNN 기반 인코더를 능가할 수 있는가?
• RQ3 성능을 희생시키지 않고 파라미터 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 낮은 데이터 환경에서 제안된 방법의 성능는 어떻게 변화하는가?
• RQ5 관계 경로 특징만으로도 효과적인 공용지식 추론을 위한 충분한 지식 증거를 제공할 수 있는가?

주요 결과

• 공용지식 추론에서 성능 향상의 주요 원동력은 노드 특징이 아니라 CSKG의 관계 특징이다.
• 제안된 SAFE 인코더는 CommonsenseQA, SocialIQA, OpenBookQA를 포함한 다섯 가지 공용지식 추론 벤치마크에서 최고 수준 또는 경쟁 가능한 성능을 달성한다.
• SAFE는 지식 인코딩을 위한 학습 가능 파라미터 수를 GNN 기반 인코더의 1% 미만으로 줄여 효율성을 크게 향상시킨다.
• 낮은 데이터 훈련 환경에서도 강력한 성능을 유지하여 강건성과 일반화 능력을 입증한다.
• 실증 분석을 통해 통계적 관계 경로가 PTM 추론 능력을 향상시키는 효과적인 지식 증거로 기능한다는 것이 확인된다.
• 블랙박스 GNN과는 달리, 지식 주입의 더 해석 가능하고 투명한 메커니즘을 제공한다.