[論文レビュー] Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space

Mor Geva, Avi Caciularu+2 more|arXiv (Cornell University)|Mar 28, 2022

Topic Modeling被引用数 11

ひとこと要約

この論文は、Transformer言語モデルにおけるフィードフォワードネットワーク（FFN）層が、語彙空間におけるトークン表現に対して加法的アップデートを適用することで予測を構築していることを明らかにした。各アップデートは人間が理解可能な概念（例：'代名詞' や '朝食'）に対応する。著者らは、FFN出力を個々のパラメーターベクトルに由来するサブアップデートに分解することで解釈可能性を実現し、GPT-2の毒性をほぼ50%低減した。また、早期終了ルールを用いることで20%の計算コスト削減を達成した。

ABSTRACT

Transformer-based language models (LMs) are at the core of modern NLP, but their internal prediction construction process is opaque and largely not understood. In this work, we make a substantial step towards unveiling this underlying prediction process, by reverse-engineering the operation of the feed-forward network (FFN) layers, one of the building blocks of transformer models. We view the token representation as a changing distribution over the vocabulary, and the output from each FFN layer as an additive update to that distribution. Then, we analyze the FFN updates in the vocabulary space, showing that each update can be decomposed to sub-updates corresponding to single FFN parameter vectors, each promoting concepts that are often human-interpretable. We then leverage these findings for controlling LM predictions, where we reduce the toxicity of GPT2 by almost 50%, and for improving computation efficiency with a simple early exit rule, saving 20% of computation on average.

研究の動機と目的

• Transformerベースの言語モデルにおけるフィードフォワードネットワーク（FFN）層が予測構築にどのように寄与するかを理解すること。
• 現代のNLPモデルの重要なが未だ十分に研究されていないコンponentであるFFN演算の不透明性を解消すること。
• FFNアップデートを出力語彙空間における特定の概念を促進するメカニズムとして解釈可能にする手法を開発すること。
• サブアップデートの操作を通じて、毒性低減や計算効率向上といった実用的応用を可能にすること。
• 個々のFFNパラメーターベクトルのレベルで、Transformer内部の細分化制御と解釈可能性を提供するフレームワークを構築すること。

提案手法

• FFN出力を、語彙に対する確率分布とみなすトークン表現への加法的アップデートとして再定式化する。
• 各FFNアップデートを、2番目のFFN行列の個々の列（ベクトル）に対応するサブアップデートに分解する。これらを「バリューベクトル」と呼ぶ。
• 各バリューベクトルを、語彙空間で特定の明確な人間理解可能な概念（例：'pronouns' や 'breakfast'）を促進すると解釈し、手動によるアノテーションで検証する。
• 予測プロセスを、概念を促進するアップデートの系列としてモデル化し、最終的な出力分布が累積的なサブアップデート効果から生じることを示す。
• 主要なサブアップデートを、十分な信頼度に達した時点で早期終了を予測する信号として使用する。
• 特定のバリューベクトルの重みを変更することで干渉を行い、生成結果を望ましい行動（例：毒性低減）に誘導する。

実験結果

リサーチクエスチョン

• RQ1 TransformerモデルにおけるFFN層は、出力語彙空間で最終予測をどのように構築しているか？
• RQ2 個々のFFNパラメーターベクトル（バリューベクトル）は、特定の人間が理解可能な概念を促進すると解釈できるか？
• RQ3 FFNアップデートは、低確率トークンの抑制に依存しているのではなく、高確率トークンの促進に大きく依存しているか？
• RQ4 FFN層からのサブアップデートを活用することで、生成物の毒性低減といったモデル行動の制御が可能か？
• RQ5 主要なサブアップデートは、推論における早期終了の信頼できる信号として機能するか？

主な発見

• FFN層は、語彙空間におけるトークン表現に対して加法的アップデートを適用し、出力語彙上の確率分布のシフトと解釈できる。
• 各FFNアップデートは、個々のバリューベクトルに由来するサブアップデートに分解され、それぞれが「pronouns」や「breakfast」など明確な人間理解可能な概念を促進する。
• 予測プロセスは、トークンの促進に支配的である：出力で高確率となるトークンは、複数のサブアップデートによって強く影響を受ける。
• GPT-2でわずか10個のサブアップデートの重みを増加させる干渉により、生成テキストの毒性がほぼ50%低減した。
• 主要なサブアップデートは、早期終了の強力な信号を提供し、精度の著しい損失なしに平均20%の計算量削減を実現した。
• バリューベクトルの個別解釈可能性は、それらの組み合わせの解釈可能性を上回っており、個別に分析することがモデル解釈性のための有望な第一歩であると考えられる。