[論文レビュー] Limits to Depth Efficiencies of Self-Attention

Yoav Levine, Noam Wies+3 more|arXiv (Cornell University)|Jun 22, 2020

Ferroelectric and Negative Capacitance Devices被引用数 22

ひとこと要約

本稿では、自己注意機構のネットワーク幅 $ d_x $ に依存する対数的深さ閾値 $ L_{\text{th}} = \log_3(d_x) $ を特定し、それ以上の深さでは幅の制限により自己注意ネットワークが深さ非効率的になることを示している。幅拡大と深さ拡大が性能向上において実証的に同等である理由を説明し、閾値まで深さ効率が二重指数関数的に向上するが、それ以降はさらなる深さの向上が急速に鈍化することを示している。

ABSTRACT

Self-attention architectures, which are rapidly pushing the frontier in natural language processing, demonstrate a surprising depth-inefficient behavior: Empirical signals indicate that increasing the internal representation (network width) is just as useful as increasing the number of self-attention layers (network depth). In this paper, we theoretically study the interplay between and width in self-attention, and shed light on the root of the above phenomenon. We invalidate the seemingly plausible hypothesis by which widening is as effective as deepening for self-attention, and show that in fact stacking self-attention layers is so effective that it quickly saturates a capacity of the network width. Specifically, we pinpoint a depth that is logarithmic in $d_x$, the network width: $L_{ extrm{th}}=\log_{3}(d_x)$. For networks of that is below the threshold, we establish a double-exponential depth-efficiency of the self-attention operation, while for depths over the threshold we show that depth-inefficiency kicks in. Our predictions strongly accord with extensive empirical ablations in Kaplan et al. (2020), accounting for the different behaviors in the two depth-(in)efficiency regimes. By identifying network width as a limiting factor, our analysis indicates that solutions for dramatically increasing the width can facilitate the next leap in self-attention expressivity.

研究の動機と目的

• 自己注意ネットワークにおいて、幅と深さを増加させると性能向上が同等に得られるという実証的観察を理解すること。
• 自己注意ネットワークが構造的利点を持つにもかかわらず、ある深さを超えると深さ非効率的になる理由を調査すること。
• ネットワーク幅に基づいて、自己注意機構の深さ効率の理論的限界を同定すること。
• 幅と深さがすべての深さにおいて同等に効果的であるという表面的矛盾を解消するため、幅が深さの表現能力に制限を及えることの理論的根拠を提示すること。

提案手法

• 自己注意層における情報伝播に基づき、ネットワーク幅 $ d_x $ に基づく理論的深さ閾値 $ L_{\text{th}} = \log_3(d_x) $ を導出する。
• 閾値未満におけるスタックされた自己注意層の表現力の分析に、深さ効率の二重指数関数的成長モデルを用いる。
• $ L_{\text{th}} $ を超えると、幅による制約による表現能力の飽和により、深さの向上が著しく減少することを確立する。
• 理論的分析により、幅拡大と深さ拡大がすべての深さにおいて同等に効果的であるという仮説を否定する。
• Kaplanら（2020年）の実験的アブレーション結果と理論的予測を比較し、深さの各領域において強い整合性を示す。
• 幅が深さ効率に制限要因として果たす役割を特定し、幅の拡大がさらなる表現力の向上を可能にする可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 幅と深さが異なる構造的役割を果たすにもかかわらず、自己注意ネットワークにおいてなぜ両者が同等の性能向上をもたらすのか？
• RQ2 自己注意ネットワークが深さ非効率的になる理論的深さ閾値は何か？
• RQ3 ネットワーク幅は自己注意機構の有効な深さ容量をどのように制限するか？
• RQ4 深さ効率が飽和する前までなぜ二重指数関数的成長を示すのか？
• RQ5 理論的予測はKaplanら（2020年）の実験的アブレーション研究とどの程度整合するか？

主な発見

• 自己注意の効率的深さ閾値は $ L_{\text{th}} = \log_3(d_x) $ であり、$ d_x $ はネットワーク幅を表す。
• この閾値未満では、深さ効率が二重指数関数的に向上し、表現力スケーリングの高効率性を示している。
• 閾値を超えると、幅による制約による表現能力の飽和により、深さ非効率性が生じる。
• 理論的予測はKaplanら（2020年）の実験的アブレーション結果と強く一致しており、深さの各領域でモデルの妥当性が裏付けられている。
• 本研究は、幅拡大と深さ拡大がすべての深さで同等に効果的であるという仮説を無効にし、幅が深さの潜在的性能を制限していることを示している。
• 現在のスケールをはるかに超えてネットワーク幅を拡大することで、自己注意の表現力向上に顕著な将来の利点が得られる可能性がある。