[論文レビュー] Analyzing Transformers in Embedding Space

Guy Dar, Mor Geva+2 more|arXiv (Cornell University)|Sep 6, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文は、すべてのパラメータを学習済みTransformerの埋め込み空間へ射影することで、すべてのパラメータを解釈するゼロパスで入力に依存しないフレームワークを提案する。埋め込み行列とその右逆行列を活用することで、著者らはアテンション重みとフィードフォワード重みを語彙項目間の相互作用として再解釈し、微調整なしにモデルの整合性を保ち、ゼロショットパラメータ転送を可能にする。GPT-2とBERTにおける強い実証的妥当性が確認された。

ABSTRACT

Understanding Transformer-based models has attracted significant attention, as they lie at the heart of recent technological advances across machine learning. While most interpretability methods rely on running models over inputs, recent work has shown that a zero-pass approach, where parameters are interpreted directly without a forward/backward pass is feasible for some Transformer parameters, and for two-layer attention networks. In this work, we present a theoretical analysis where all parameters of a trained Transformer are interpreted by projecting them into the embedding space, that is, the space of vocabulary items they operate on. We derive a simple theoretical framework to support our arguments and provide ample evidence for its validity. First, an empirical analysis showing that parameters of both pretrained and fine-tuned models can be interpreted in embedding space. Second, we present two applications of our framework: (a) aligning the parameters of different models that share a vocabulary, and (b) constructing a classifier without training by ``translating'' the parameters of a fine-tuned classifier to parameters of a different model that was only pretrained. Overall, our findings open the door to interpretation methods that, at least in part, abstract away from model specifics and operate in the embedding space only.

研究の動機と目的

• 前方伝搬や逆伝搬を一切行わず、入力に依存しない方法で学習済みTransformerパラメータを解釈する手法を開発すること。
• 特定のコンponents（例：FFN値、アテンション重み）を解釈する従来の研究を統合・拡張し、埋め込み空間で動作する単一のフレームワークに統合すること。
• 同じトークナイザーを共有するモデル間で、パラメータを埋め込み空間に一致させることで、モデル間比較とパラメータ転送を可能にすること。
• GPT-2とBERTにおいて、フレームワークを実証的に検証し、射影されたパラメータの解釈可能性と転送可能性を示すこと。
• モデルの挙動を、埋め込み空間における語彙レベルの相互作用として抽象化し、理解可能にできることを示すこと。

提案手法

• 埋め込み行列とその右逆行列を用いて、すべてのTransformerパラメータ（キー、値、アテンション重み）を埋め込み空間に射影し、語彙の観点からの解釈を可能にする。
• モデル内の内積を語彙項目のペア間の相互作用として再定式化することで、アテンションおよびフィードフォワード演算の直感的な解釈を可能にする。
• 埋め込み空間を共有の線形空間として用い、同じトークナイザーで学習された異なるモデル間のパラメータ比較と一致を可能にする。
• 微調整済み分類器のパラメータを、ターゲットモデルの埋め込み行列の逆行列と乗算することで、再訓練なしにゼロショットパラメータ変換を実現する。
• 感情分析の微調整後におけるGPT-2パラメータの変化を分析する際、このフレームワークを適用し、変化を語彙レベルの感情信号（例：'worse'、'incompetent'、'boring'）として解釈する。
• GPT-2 mediumおよびBERTモデルにおいて、アプローチを実証的に検証し、射影されたパラメータが意味的で解釈可能な語彙レベルのパターンを示すことを確認した。

実験結果

リサーチクエスチョン

• RQ1 FFN値やアテンション重みにとどまらず、すべての学習済みTransformerパラメータが埋め込み空間で意味的に解釈可能であるか。
• RQ2 微調整後のパラメータ変化が、語彙レベルの活性化パターンのシフトとしてどの程度解釈可能であるか。
• RQ3 入力データや前方伝搬に依存せずに、同じトークナイザーを持つモデルを埋め込み空間で一致させられるか。
• RQ4 微調整済み分類器の挙動を、埋め込み空間におけるパラメータ変換により、微調整なしに事前学習済みモデルに転送できるか。
• RQ5 埋め込み空間でパラメータを解釈することで、異なるモデルやタスクにおいても意味的で一貫性のある解釈が得られるか。

主な発見

• フレームワークは、キー、値、アテンション重みを含むすべてのTransformerパラメータを埋め込み空間で解釈でき、意味的な語彙レベルの相互作用を明らかにした。
• 感情分析の微調整後、GPT-2のパラメータ変化を埋め込み空間に射影した結果、'worse'、'incompetent'、'boring'といった感情を特徴付ける語彙が関連する活性化パターンのシフトとして明確に現れた。
• 異なる初期化で事前学習された2つのBERTモデルが、埋め込み空間フレームワークを用いて層ごとに一致可能であり、モデル間の比較可能性を示した。
• 埋め込み空間におけるパラメータ変換により、微調整済み分類器のパラメータを事前学習済みモデルにゼロショットで転送可能であり、再訓練なしに機能的転送が達成された。
• 言語モデルヘッドの非線形性による理論的制限は存在するが、実際のBertでは良好に動作し、アーキテクチャの変化に対しても頑健であることが示された。
• 埋め込み空間は、モデル固有の詳細を抽象化し、モデル間で情報の比較や転送を可能にする普遍的な線形空間として機能した。