[論文レビュー] Knowledge-Infused Self Attention Transformers

Kaushik Roy, Yuxin Zi+3 more|arXiv (Cornell University)|Jun 23, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、トランスフォーマー・モデルの異なるコンポonent—特に入力埋め込み（潜在表現）および自己注意行列（帰納的バイアス）—に知識グラフから外部知識を統合する、体系的でモジュラーなフレームワークを提案する。本手法は、知識統合を浅い、準深さ、深さの3つのカテゴリーに分類し、すべての層にわたって表現と帰納的バイアスの両方に知識を適用する「深さ」統合が、従来の手法と新しい評価指標を用いたGLUEベンチマークで優れた性能を示す。

ABSTRACT

Transformer-based language models have achieved impressive success in various natural language processing tasks due to their ability to capture complex dependencies and contextual information using self-attention mechanisms. However, they are not without limitations. These limitations include hallucinations, where they produce incorrect outputs with high confidence, and alignment issues, where they generate unhelpful and unsafe outputs for human users. These limitations stem from the absence of implicit and missing context in the data alone. To address this, researchers have explored augmenting these models with external knowledge from knowledge graphs to provide the necessary additional context. However, the ad-hoc nature of existing methods makes it difficult to properly analyze the effects of knowledge infusion on the many moving parts or components of a transformer. This paper introduces a systematic method for infusing knowledge into different components of a transformer-based model. A modular framework is proposed to identify specific components within the transformer architecture, such as the self-attention mechanism, encoder layers, or the input embedding layer, where knowledge infusion can be applied. Additionally, extensive experiments are conducted on the General Language Understanding Evaluation (GLUE) benchmark tasks, and the findings are reported. This systematic approach aims to facilitate more principled approaches to incorporating knowledge into language model architectures.

研究の動機と目的

• 訓練データに欠落または暗黙の文脈が欠けている場合に生じる幻覚や整合性の問題を、外部知識の統合によって補完することで解消すること。
• トランスフォーマー・アーキテクチャのコンponentレベルでの影響を体系的・分析的に評価できない、現在の知識統合手法の恣意的性を克服すること。
• トランスフォーマー・ブロック内の帰納的バイアス（例：注意行列）と潜在表現（例：埋め込み）の区別を明確にした、モジュラーで体系的な知識統合アプローチを構築すること。
• 標準指標（正解率、F1スコア）に加え、新規指標（DE@K、リンク予測）を用いて、データ効率性と事実整合性を評価することで、知識統合の効果を測定すること。
• 将来のハイブリッドおよび選択的統合戦略の基盤となる、コンponentに意識的な知識拡張言語モデリングの原則的基盤を確立すること。

提案手法

• トランスフォーマーのコンポonentを2種類に分類する：帰納的バイアス（例：自己注意行列）と潜在表現（例：入力および中間層の埋め込み）。
• 3つの知識統合戦略を提案する：(i) 浅い統合（最初のブロックの潜在表現に知識を適用）、(ii) 準深さ統合（最初のブロックの注意行列に知識を適用）、(iii) 深さ統合（すべてのブロックの表現と注意行列に知識を交互に統合）。
• 知識グラフ（ConceptNet と WordNet）を用いてノード埋め込みを取得し、各入力トークンごとにそれらを合算して、各トークンの統合的グラフ表現を形成する。
• 学習可能な投影層を介して、グラフ埋め込みをトランスフォーマーに統合し、入力埋め込みおよび注意行列に挿入する。
• 評価のため、BERT、RoBERTa、ELECTRA、XLNet、Longformer の5つの事前学習モデルを用い、その large バージョンを採用する。
• 新規評価指標を導入する：DE@K（データ効率性）とリンク予測精度（事実整合性）、それぞれを減少した訓練データでの性能と、埋め込みの事実整合性の一致度を測定する。

Figure 1. The figure shows the different components of a transformer block, categorized into inductive biases and latent representations. We categorize the input embeddings and the representations obtained after each encoder as latent representations and the self-attention matrices as inductive bias

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーの異なるコンポonent（潜在表現対帰納的バイアス）に体系的知識統合を施すと、NLPタスクの下流性能にどのように影響を与えるか？
• RQ2 知識統合は、訓練データを削減した場合（例：50％）に、どの程度データ効率性を向上させるか？
• RQ3 リンク予測精度や DE@K といった新規評価指標は、標準的な正解率や F1 スコアに比べ、知識統合の評価をより信頼性高く行えるか？
• RQ4 浅い、準深さ、深さの知識統合戦略の中で、どの戦略が多様なトランスフォーマー・アーキテクチャと GLUE ベンチマークタスク全体で一貫性があり、より強固な改善をもたらすか？
• RQ5 知識統合は、事実整合性と文脈理解の向上により、統計的アーティファクトや誤ったパターン依存を減らすのか？

主な発見

• すべてのトランスフォーマー・ブロックに潜在表現と帰納的バイアスの両方に知識を適用する「深さ」統合が、GLUEタスク全体で最高の性能を達成した。
• 訓練データを50％に制限した場合、深さ統合モデルはGLUEタスク全体で平均正解率81–83を達成し、高いデータ効率性を示した。
• DE@50 指標は、深さ統合が限られたデータでも高い性能を維持することを示し、知識統合によるデータ十分性の向上を裏付けた。
• コサイン類似度を用いて、ConceptNet と WordNet の埋め込みを合算したリンク予測精度は、知識統合により一貫した向上を示し、事実整合性の向上を検証した。
• XLNetは、すべての設定で他のモデルを上回ったが、深さ統合により特に困難なタスクで顕著な相対的向上が得られた。
• 新規評価指標（DE@K と リンク予測）は、標準指標だけでは十分に捉えきれない知識統合の有効性の向上を明らかにした。

Figure 2. (a) Knowledge compression - Compressing the information in the knowledge graph into graph node embeddings (vectors) and graph node embedding-based correlations (matrices) for infusion in transformer architectures, namely at the latent representations of the transformer (vectors), or the in