[論文レビュー] A Mathematical Theory of Attention

James Vuckovic, Aristide Baratin+1 more|arXiv (Cornell University)|Jul 6, 2020

Neural Networks and Applications参考文献 33被引用数 8

ひとこと要約

この論文は測度論とマルコフ核を用いて注意機構の厳密な数学的枠組みを構築し、自己注意機構を相互作用する粒子系としてモデル化し、適切な距離計測のもとでリプシッツ連続性を証明する。注意機構が最大エントロピー問題を解くことにより、深層学習モデルにおけるその成功の原理的理論的基盤を提供する。

ABSTRACT

Attention is a powerful component of modern neural networks across a wide variety of domains. However, despite its ubiquity in machine learning, there is a gap in our understanding of attention from a theoretical point of view. We propose a framework to fill this gap by building a mathematically equivalent model of attention using measure theory. With this model, we are able to interpret self-attention as a system of self-interacting particles, we shed light on self-attention from a maximum entropy perspective, and we show that attention is actually Lipschitz-continuous (with an appropriate metric) under suitable assumptions. We then apply these insights to the problem of mis-specified input data; infinitely-deep, weight-sharing self-attention networks; and more general Lipschitz estimates for a specific type of attention studied in concurrent work.

研究の動機と目的

• 深層学習における広範な使用にもかかわらず、注意機構の理解における理論的ギャップを埋めること。
• 測度論とマルコフ核を用いて、注意機構の数学的に同等のモデルを構築し、厳密な分析を可能にすること。
• 連続性やエントロピー最大化における最適性を含む、注意機構の基礎的性質を確立すること。
• 理論的知見を実用的問題に応用すること：入力のロバストネス、無限に深いネットワーク、一般化されたリプシッツバウンド。

提案手法

• クエリ・キー・バリューの相互作用を確率測度とマルコフ核で表現し、注意機構をモデル化する。
• 自己注意機構を確率測度の空間上の非線形変換として定式化する。
• カルバック・ライバラー投影を用いて、注意機構を最大エントロピー問題の解釈として解釈する。
• 測度値動力学およびワッサーシュタイン距離の道具を用いて正則性を分析する。
• 1-ワッサーシュタイン距離におけるリプシッツ連続性の推定値を導出し、リプシッツ定数の明示的バウンドを求める。
• 結果を重み共有、無限に深いネットワーク、および同時期の研究における有界性仮定の緩和に拡張する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして測度論を用いて注意機構を形式的にモデル化し、厳密な分析を可能にするか？
• RQ2 自己注意機構は、相互作用する粒子系としてどのように構造的に解釈できるか？
• RQ3 注意機構はエントロピーに基づく最適化フレームワークにおける最適解に対応するか？
• RQ4 適切な距離計測のもとで注意機構はリプシッツ連続的か？また、リプシッツ定数にどのようなバウンドを設定できるか？
• RQ5 モデルからの理論的知見は、誤って指定された入力や深層アーキテクチャにおけるロバストネスにどのように応用できるか？

主な発見

• 注意機構は、非線形測度変換に従って進化する自己相互作用粒子系と数学的に同等である。
• 自己注意機構が最大エントロピー問題と最小エントロピー射影を解くことにより、変分的意味で最適性が確立される。
• 1-ワッサーシュタイン距離において、注意機構がリプシッツ連続的であることが証明され、リプシッツ定数の明示的上界が得られる。
• この枠組みにより、重み共有の自己注意ネットワークの無限に深い構造の分析が可能となり、深さに伴う安定性が示される。
• 理論は、同時期の研究と比較して有界性仮定を緩和した一般化されたリプシッツ推定を提供する。
• モデルは、否定を含む文の文脈埋め込み距離に関する検証可能な予測を導出することを可能にする。