[論文レビュー] Understanding How Encoder-Decoder Architectures Attend

Kyle Aitken, Vinay Ramasesh+2 more|arXiv (Cornell University)|Oct 28, 2021

EEG and Brain-Computer Interfaces参考文献 23被引用数 6

ひとこと要約

この論文は、自己注意行列の形成仕組みを解明するため、エンコーダ・デコーダの隠れ状態を時系列的（シーケンス位置に依存しない）成分と入力駆動型（入力に依存する）成分に分解する手法を提案する。著者らは、ネットワークが自己注意行列が共通平均に近い場合、アーキテクチャにかかわらず時系列的成分に依存していることを示した。これは、再帰的モデルとフィードフォワードモデルの間で異なるダイナミクスを示すものの、統一的なメカニズムが存在することを示している。

ABSTRACT

Encoder-decoder networks with attention have proven to be a powerful way to solve many sequence-to-sequence tasks. In these networks, attention aligns encoder and decoder states and is often used for visualizing network behavior. However, the mechanisms used by networks to generate appropriate attention matrices are still mysterious. Moreover, how these mechanisms vary depending on the particular architecture used for the encoder and decoder (recurrent, feed-forward, etc.) are also not well understood. In this work, we investigate how encoder-decoder networks solve different sequence-to-sequence tasks. We introduce a way of decomposing hidden states over a sequence into temporal (independent of input) and input-driven (independent of sequence position) components. This reveals how attention matrices are formed: depending on the task requirements, networks rely more heavily on either the temporal or input-driven components. These findings hold across both recurrent and feed-forward architectures despite their differences in forming the temporal components. Overall, our results provide new insight into the inner workings of attention-based encoder-decoder networks.

研究の動機と目的

• エンコーダ・デコーダネットワークにおける自己注意行列形成のメカニズムを理解すること、特に異なるアーキテクチャ間での違いを含めて。
• 隠れ状態の時系列的および入力駆動型成分が、系列対系列タスクにおける自己注意行動にどのように寄与するかを調査すること。
• 構造的差異があるにもかかわらず、再帰的アーキテクチャとフィードフォワードアーキテクチャの間で自己注意ダイナミクスが顕著に異なるかどうかを特定すること。
• 入力駆動型および時系列的ダイナミクスを分離する分解手法を開発し、自己注意メカニズムの解釈可能性を向上させること。

提案手法

• 著者らは、エンコーダおよびデコーダの隠れ状態を、入力シーケンスに依存する（入力駆動型）成分と、入力に依存しない（時系列的）成分に分解する。
• 線形射影を用いて隠れ状態ベクトルを、時系列的成分と入力駆動型成分の和に分離し、ダイナミクスの分離を可能にする。
• この分解手法を3つのアーキテクチャに適用した：AED（アテンションベースのエンコーダ・デコーダ）、VED（バニラエンコーダ・デコーダ）、およびアテンション付き再帰的バージョン。
• 特に対角自己注意行列を持つタスクやサンプル依存の変動を示すタスクにおいて、各成分が自己注意行列形成にどのように寄与するかを分析した。
• 出力のログティックへの寄与を考慮し、リードアウトベクトルが入力成分および時系列的ダイナミクスとどれほど一致するかを評価した。
• 合成タスクと可視化技術（主成分分析を含む）を用い、隠れ状態の軌道を追跡し、クラスタリング行動を評価した。

実験結果

リサーチクエスチョン

• RQ1 エンコーダ・デコーダモデルにおける隠れ状態の時系列的および入力駆動型成分は、自己注意行列形成にどのように寄与するか？
• RQ2 これらの成分は、再帰的モデルとフィードフォワードモデルなど、異なるアーキテクチャ間でどの程度異なるか？
• RQ3 特定のタスクにおいて自己注意行列が共通平均行列に近くなるのはなぜか？ また、サンプル固有のずれを引き起こす要因は何か？
• RQ4 自己注意モデルにおけるデコーダリードアウトとコンテキストベクタリードアウトのダイナミクスは、どのように相互作用するか？
• RQ5 隠れ状態空間に木構造のようなパターンが現れるのはどのような場合か？ そして、それらは自己注意や系列生成とどのように関連するか？

主な発見

• 平均自己注意行列が個々のサンプルの行列をよく近似する場合、隠れ状態の時系列的成分が自己注意行列形成において支配的である。
• 自己注意行列が平均から著しく逸脱する場合、入力駆動型成分がより大きな影響を示し、タスク固有のアライメントメカニズムが働くことが示された。
• 時系列的成分の形成ダイナミクスに差異があるにもかかわらず、再帰的モデルとフィードフォワードモデルの両方が、類似した成分間の相互作用を用いて自己注意を生成しており、共通の下位メカニズムが存在することが示唆された。
• AEDモデルでは、コンテキストベクタリードアウトが入力成分とよく一致し、ログティック差分への寄与がデコーダ隠れ状態リードアウトよりも顕著に大きい。一方、デコーダ隠れ状態リードアウトはほぼ直交しており、均等に寄与していた。
• VEDモデルでは、エンコーダの隠れ状態が隠れ空間に木構造を形成し、異なる入力フレーズに対して明確な分岐路が見られたが、デコーダには類似した木構造は観察されず、学習ダイナミクスの差が示された。
• AEDのデコーダリードアウトはコンテキストベクタリードアウトとほぼ直交しており、ログティック差分への寄与は最小限であった。これにより、コンテキストベクタが出力予測の主な駆動要因であることが確認された。