[論文レビュー] The Dual Form of Neural Networks Revisited: Connecting Test Time Predictions to Training Patterns via Spotlights of Attention

Kazuki Irie, Róbert Csordás+1 more|arXiv (Cornell University)|Feb 11, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、ニューラルネットワークの線形層の二重形式を再考し、すべての訓練データポイントおよび初期重みについての正規化されていないドットアテンションとして表現する。テスト時におけるアテンション重みの計算により、予測に影響を与える訓練パターンを直接可視化でき、視覚的および言語的タスクにおいて、入力と出力の間の解釈可能で文脈に依存する関係を明らかにする。計算コストの制約があるが、依然として有効である。

ABSTRACT

Linear layers in neural networks (NNs) trained by gradient descent can be expressed as a key-value memory system which stores all training datapoints and the initial weights, and produces outputs using unnormalised dot attention over the entire training experience. While this has been technically known since the 1960s, no prior work has effectively studied the operations of NNs in such a form, presumably due to prohibitive time and space complexities and impractical model sizes, all of them growing linearly with the number of training patterns which may get very large. However, this dual formulation offers a possibility of directly visualising how an NN makes use of training patterns at test time, by examining the corresponding attention weights. We conduct experiments on small scale supervised image classification tasks in single-task, multi-task, and continual learning settings, as well as language modelling, and discuss potentials and limits of this view for better understanding and interpreting how NNs exploit training patterns. Our code is public.

研究の動機と目的

• 訓練済みのニューラルネットワークの線形層を、全訓練データセット上のアテンションメカニズムとして再解釈し、テスト時の予測がどの訓練パターンに起因するかを直接追跡可能にする。
• この二重形式におけるアテンション重みが、テスト入力と特定の訓練例との間で意味的で人間が解釈可能な関係を明らかにするかを検討する。
• 小規模な画像分類および言語モデリングタスクにおける、このアプローチの実現可能性と解釈可能性を評価する。
• アテンションパターンが、テストクエリと訓練データとの間の意味的・構造的類似性をどのように反映するかを調査する。特に、少サンプルまたは分布外一般化の文脈で。
• この手法のメモリ、計算コスト、および既存の訓練済みモデルへの適用可能性という観点からの限界を評価する。

提案手法

• 深層ニューラルネットワークの線形層の順伝播を、すべての訓練入力-出力ペairをキーやバリューとして扱い、正規化されていないドットアテンションとして表現する。
• テスト入力をクエリとして用い、全訓練パターンにわたるアテンションスコアを計算し、アテンション重みが関連性を示す。
• 訓練中における線形層への入力を記録し、推論時におけるアテンション重みを計算することで、テスト予測と訓練データを結びつける。
• MNISTおよびFashion-MNISTにおけるフィードフォワードネットワーク、およびWikiText-2やエーソプの寓話などのテキストデータセットにおけるLSTMにこの手法を適用する。
• 上位アテンションを示す訓練トークンや画像パッチを可視化し、それが意味的・構造的類似性と一致するかを評価する。
• キーバリュー機構を採用し、キーデータとして訓練入力を、バリューとして訓練ターゲットを、クエリとしてテスト入力から得る。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの線形層の二重形式におけるアテンション重みは、テスト予測に最も寄与する特定の訓練例を特定できるか？
• RQ2 最もアテンションが集まった訓練パターンは、テスト入力と意味的または構造的に類似しているか？これは文脈に依存する推論を示唆するか？
• RQ3 単一タスク、マルチタスク、継続的学習などの異なる学習状況において、この二重形式アテンション機構はどのように振る舞うか？
• RQ4 このアプローチは、ゼロショット翻訳や少サンプル推論などの大規模モデルの一般化を説明できるか？その場合、元となる訓練例を特定できるか？
• RQ5 この手法の実用的限界は、メモリ、計算コスト、および実世界のモデルへの適用可能性という観点から、どのようなものか？

主な発見

• 画像分類では、テスト時のモデルのアテンションが、同じクラスラベルや視覚的パターンを持つ訓練例に一貫して集中しており、マルチタスクや継続的学習の状況でも同様であった。
• 言語モデリングでは、上位アテンションを示す訓練パラグラフは、テストクエリと意味的・構造的に類似しており、例えば「装甲戦闘艦」についてのクエリに対して「戦艦関連」のテキストが選ばれた。
• 類似した文構造だが内容が関連のないネガティブ例は低アテンションを示し、アテンションが文脈に依存しており、単なる文法的類似性ではないことが示された。
• この手法は、訓練経験全体にわたるアテンションを可視化でき、視覚的および言語的タスクにおいて、テスト入力と訓練データとの間の解釈可能な関係を明らかにした。
• 高いメモリおよび計算コストがあるものの、このアプローチは小規模なデータセットにおいて実現可能であることが示され、ハードウェアの進化に伴い大規模モデルへの応用の可能性を示唆した。
• この分析は、訓練中に線形層への入力をログ記録する必要があるため、既存の訓練済みモデルには適用できない。これにより、後向きの分析が制限される。