[論文レビュー] Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps

Goro Kobayashi, Tatsuki Kuribayashi+2 more|arXiv (Cornell University)|Feb 1, 2023

Neurobiology of Language and Bilingualism被引用数 7

ひとこと要約

本論文は、Transformerにおけるフィードフォワード（FF）ブロックの入力コンテキスト化効果を可視化・分析するための新規なアテンションマップベースの手法を提案する。その結果、FFネットワークがサブワードから語彙への変換や複数語表現といった特定の言語的構成を強調していることが明らかになった。主な発見として、FFブロックはアテンションパターンを顕著に再構成している一方、残差接続および正規化層はその効果を抑制しており、Transformerの内部処理に冗長性が存在する可能性を示唆している。

ABSTRACT

Transformers are ubiquitous in wide tasks. Interpreting their internals is a pivotal goal. Nevertheless, their particular components, feed-forward (FF) blocks, have typically been less analyzed despite their substantial parameter amounts. We analyze the input contextualization effects of FF blocks by rendering them in the attention maps as a human-friendly visualization scheme. Our experiments with both masked- and causal-language models reveal that FF networks modify the input contextualization to emphasize specific types of linguistic compositions. In addition, FF and its surrounding components tend to cancel out each other's effects, suggesting potential redundancy in the processing of the Transformer layer.

研究の動機と目的

• Transformerにおけるフィードフォワード（FF）ブロックの解釈可能性の欠如に取り組むこと、これはそのパラメータ数が多く、モデル性能に重要な役割を果たしているにもかかわらずである。
• FFブロックが入力コンテキスト化に与える影響、特に言語的構成およびトークン間関係との関係を調査すること。
• 標準的なアテンションメカニズムを超えて、FFブロックがアテンションマップに与える影響を捉える可視化手法を開発すること。
• FFブロックと周囲の構成要素（残差接続および正規化層）の相互作用が中間表現をどのように形作るかを検討すること。
• FFブロックの影響を分析することで、アーキテクチャ上の冗長性とモデルの削減（プルーニング）の可能性に関する知見を提供すること。

提案手法

• Kobayashiら（2021）のノルムベースの帰属割り当て手法を拡張し、ベクトルノルムを介して入力の大きさを組み込むことで、FFブロックの入力コンテキスト化効果を捉える。
• FFネットワーク内の非線形性に対応するため、部分的な統合勾配を適用し、バックプロパゲーションを伴わずに勾配に類似した帰属割り当てを可能にする。
• 残差接続および正規化層のダイナミクスと組み合わせることで、FFブロックの影響を反映するアテンションマップを計算する。
• バックプロパゲーションを回避しつつ、解釈可能性と計算効率を維持するため、前方伝搬のみを用いる。
• トークン間アテンションパターンへのFFブロックの影響を可視化し、層ごとのコンテキスト化の変化に焦点を当てる。
• マスク付き（例：BERT）および因果的（例：GPT-2）言語モデルの両方に対して層ごとの分析を実施し、アーキテクチャ間での影響を比較する。

実験結果

リサーチクエスチョン

• RQ1 アテンションマップに反映されるFFブロックの影響によって、Transformerにおける入力コンテキスト化はどのように変化するか？
• RQ2 異なるモデルアーキテクチャにおいて、FFブロックがどの種類の言語的構成を強調または抑制するか？
• RQ3 同じ層内において、残差接続および正規化層がFFブロックの効果をどの程度抑制するか？
• RQ4 異なるモデルサイズや学習シードにおいて、FFブロックの挙動に一貫性のあるパターンが存在するか？
• RQ5 ノルムベースおよび統合勾配技術を用いて、FFブロックがアテンションマップに与える影響を信頼性高く可視化・帰属割り当てできるか？

主な発見

• FFブロックは、出力を変更またはマスクした際のアテンションマップパターンに顕著な変化をもたらすことで、入力コンテキスト化が顕著に変化していることが示された。
• サブワードから語彙への変換や複数語表現の構成といった特定の言語的構成が、BERTおよびGPT-2の両モデルにおいて一貫してFFブロックによって強調されている。
• 残差接続および正規化層は、FFブロックの効果を抑制する傾向にあり、Transformer層の処理に内部的な冗長性が存在する可能性を示唆している。
• FF出力ベクトルの大きさとアテンションマップの変化が強く相関しており、特に深層部において顕著である。これは、FF出力ノルムがコンテキスト化のシフトを引き起こす主要因である可能性を示唆している。
• 層ごとの正規化（LN）の重みは、FFブロックの入力／出力ベクトルノルムと強く相関しており、LNがFFの影響を調整する中心的役割を果たしていることを示している。
• 複数のモデルバリアント（例：異なるシードおよびサイズのBERT-base）を用いた実験により、一貫したFF効果が確認され、観察されたパターンのアーキテクチャおよび学習変動に対する頑健性が裏付けられた。