[論文レビュー] The Depth-to-Width Interplay in Self-Attention

Yoav Levine, Noam Wies+3 more|arXiv (Cornell University)|Jun 22, 2020

Ferroelectric and Negative Capacitance Devices被引用数 7

ひとこと要約

本稿は、自己注意機構ネットワークにおける深さ対幅のトレードオフを理論的・実験的に調査し、幅に依存する深さ効率性と深さ非効率性の間の遷移を明らかにした。パラメータ予算が固定された条件下で、深さと幅へのパラメータ配分の定量的ガイドラインを提示し、1兆パラメータモデルでは幅30Kが最適であると示した。これは、深さ効率性のパラダイムに代わって、極めて広い幅の拡大が不可欠であることを示唆する。

ABSTRACT

Self-attention architectures, which are rapidly pushing the frontier in natural language processing, demonstrate a surprising depth-inefficient behavior: previous works indicate that increasing the internal representation (network width) is just as useful as increasing the number of self-attention layers (network depth). We theoretically predict a width-dependent transition between depth-efficiency and depth-inefficiency in self-attention. We conduct systematic empirical ablations on networks of depths 6 to 48 that clearly reveal the theoretically predicted behaviors, and provide explicit quantitative suggestions regarding the optimal depth-to-width allocation for a given self-attention network size. The race towards beyond 1-Trillion parameter language models renders informed guidelines for increasing self-attention depth and width in tandem an essential ingredient. Our guidelines elucidate the depth-to-width trade-off in self-attention networks of sizes up to the scale of GPT3 (which we project to be too deep for its size), and beyond, marking an unprecedented width of 30K as optimal for a 1-Trillion parameter network.

研究の動機と目的

• 自己注意メカニズムにおけるネットワークの深さと幅の相互作用を理解すること、特に大規模言語モデルの文脈において。
• 幅に依存するレジームシフトを同定することで、自己注意機構における一般的な深さ効率性の概念に挑戦すること。
• 固定されたパラメータ予算下で、深さと幅へのパラメータ配分に原則的かつ定量的なガイドラインを提供すること。
• 深さ6から48のネットワークを用いた体系的なアブレーションスタディを通じて、理論的予測を検証すること。
• 次世代の1兆パラメータ言語モデルの設計を最適化するため、深さ対幅のトレードオフを最適化すること。

提案手法

• 非線形性や正規化を含まない簡略化された自己注意モデルの理論的分析により、コアな接続性と表現力に焦点を当てる。
• 理論的モデリングを用いて、深さ効率性と深さ非効率性のレジーム間の幅に依存する遷移点を導出する。
• 深さ6から48、幅を変化させたネットワークにおける体系的アブレーションを通じた実験的評価を行い、Perplexityと損失を測定する。
• 理論的予測の妥当性を検証するため、ログ幅空間における線形回帰を用いて実験的遷移点をフィッティングする。
• 推定の精度を向上させ、実験誤差を低減するため、予想される遷移点周辺を高密度に測定する。
• 観察された遷移トレンドのフィットの良さを検証するため、統計的指標（χ²_red と R²）を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己注意ネットワークにおける深さ対幅のトレードオフは、ネットワークの幅にどのように依存するか。理論が予測するように、レジーム遷移を示すか。
• RQ2 ある幅の閾値を超えた後、ネットワークの深さは性能向上にどの程度寄与するか。また、どこから拡張が深さの増加を上回る効果を示すか。
• RQ3 自己注意ネットワークにおいて、与えられた総パラメータ予算下での最適な深さ対幅配分は何か。特にスケールが大きい場合に注目する。
• RQ4 自己注意モデルの実験的性能は、理論的に予測されたように、幅が増加するに従い深さ効率性から深さ非効率性への遷移を示すか。
• RQ5 遷移点は深さにどのようにスケーリングするか。指数関数的関数としてモデル化可能か。

主な発見

• 理論的予測通り、明確な深さ効率性と深さ非効率性のレジーム間の遷移が実験的に観察され、遷移点は深さとともに指数関数的に増加する。
• 1兆パラメータの自己注意ネットワークでは、最適な幅が30Kと予測され、深さの拡大ではなく、極めて広い幅の拡大が本質的であることが示された。
• 実験データは、レジーム間の遷移点がログ幅空間で線形的トレンドに従うことを示しており、R² = 0.998、χ²_red = 0.854 と理論モデルに強く適合している。
• 深さ >6 のネットワークでは、性能のトレンドが深さ対幅比ではなく、総パラメータ数に依存するが、根本的なレジームシフトが依然として挙動に影響を与えている。
• ある幅を超えると、深さの増加による利益は次第に減少し、性能向上の主な道筋は拡張に移行することが明らかになった。
• 最適な深さ対幅配分は、すべてのサイズで一様ではない。むしろ、幅に依存しており、遷移点は深さとともに指数関数的にスケーリングする。