[論文レビュー] Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models

Jinhao Jiang, Kun Zhou+2 more|arXiv (Cornell University)|May 4, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、常識的知識グラフ（CSKG）からの統計的関係パスを活用して、事前学習言語モデル（PTM）の常識的推論能力を向上させる、軽量なMLPベースの知識エンコーダー「SAFE（Simple Attention-based Encoder）」を提案する。GNNベースのエンコーダーとは異なり、1%未塔の可学習パラメータで5つのベンチマークで最先端または競争力ある性能を達成しており、パラメータ数の増加ではなく関係特徴量が性能向上の鍵であることを示している。

ABSTRACT

Commonsense reasoning in natural language is a desired ability of artificial intelligent systems. For solving complex commonsense reasoning tasks, a typical solution is to enhance pre-trained language models~(PTMs) with a knowledge-aware graph neural network~(GNN) encoder that models a commonsense knowledge graph~(CSKG). Despite the effectiveness, these approaches are built on heavy architectures, and can't clearly explain how external knowledge resources improve the reasoning capacity of PTMs. Considering this issue, we conduct a deep empirical analysis, and find that it is indeed relation features from CSKGs (but not node features) that mainly contribute to the performance improvement of PTMs. Based on this finding, we design a simple MLP-based knowledge encoder that utilizes statistical relation paths as features. Extensive experiments conducted on five benchmarks demonstrate the effectiveness of our approach, which also largely reduces the parameters for encoding CSKGs. Our codes and data are publicly available at https://github.com/RUCAIBox/SAFE.

研究の動機と目的

• 外部の常識的知識が事前学習モデル（PTM）の推論能力にどのように寄与するかを理解すること。
• 常識的推論における性能向上に寄与する知識リソースの主要な構成要素を同定すること。
• モデルの複雑さを軽減しながら性能を維持または向上させる、軽量で解釈可能な知識エンコーダーの設計。

提案手法

• CSKGからのノード特徴量と関係特徴量の両方がPTM性能に与える寄与を分離するための実証的分析を実施。
• 統計的関係パスを入力特徴として使用するシンプルなMLPベースの知識エンコーダー（SAFE）の設計。
• 最短パス法や部分グラフ抽出技術を用いて、CSKG（例：ConceptNet、ATOMIC）から関係パスを抽出。
• ファインチューニング段階でPTMとSAFEエンコーダーを統合し、推論能力を強化。
• 最小限のアーキテクチャ的オーバーヘッドで、複数選択式の常識的推論データセット上でエンドツーエンドのモデルを訓練。
• 5つのベンチマークデータセットで性能とパラメータ効率をGNNベースのベースラインと比較評価。

実験結果

リサーチクエスチョン

• RQ1 常識的知識グラフ（CSKG）のどの構成要素が、常識的推論タスクにおけるPTM性能向上に最も重要か？
• RQ2 関係パス特徴量のみを用いる場合、シンプルなMLPベースのエンコーダーが複雑なGNNベースのエンコーダーを上回ることができるか？
• RQ3 性能を損なわずに、どの程度パラメータ効率を向上させられるか？
• RQ4 低データ環境下での本手法の性能スケーリングはどの程度か？
• RQ5 関係パス特徴量のみで、有効な常識的推論のための十分な知識的証拠を提供できるか？

主な発見

• 常識的推論における性能向上の主な要因はノード特徴量ではなく、CSKGからの関係特徴量である。
• 提案されたSAFEエンコーダーは、CommonsenseQA、SocialIQA、OpenBookQAを含む5つの常識的推論ベンチマークで最先端または競争力ある結果を達成している。
• SAFEは、GNNベースのエンコーダーと比較して、知識エンコーディングに必要な可学習パラメータ数を1%未塔にまで削減し、大幅な効率向上を実現している。
• 低データ学習環境下でも強固な性能を維持しており、ロバストネスと一般化能力が確認された。
• 実証的分析により、統計的関係パスがPTMの推論能力を向上させる有効な知識的証拠として機能することが裏付けられた。
• ブラックボックスなGNNとは異なり、本手法は知識の統合プロセスがより解釈可能で透明であることを提供している。