[論文レビュー] On the asymptotics of wide networks with polynomial activations

Kyle Aitken, Guy Gur-Ari|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用数 8

ひとこと要約

この論文は、DyerとGur-Ari（2019）が提唱した、多層パーセプトロンで多項式活性化関数を用いる広義のニューラルネットワークにおける相関関数の漸近的スケーリングに関する予想を証明する。テンソルベースの解析とイッセリスの定理を用いてパラメータ微分のモーメントを計算することで、相関関数が $\mathcal{O}(n^{n_e + (n_o - m)/2})$ にスケーリングすることを確立した。ここで $n$ は幅、$n_e$ はクラスターグラフ内の偶数サイズの成分の数、$n_o$ は奇数サイズの成分の数である。この結果により、有限幅の動的挙動およびNTK理論の有効性が多項式活性化関数を用いるネットワークへと拡張される。

ABSTRACT

We consider an existing conjecture addressing the asymptotic behavior of neural networks in the large width limit. The results that follow from this conjecture include tight bounds on the behavior of wide networks during stochastic gradient descent, and a derivation of their finite-width dynamics. We prove the conjecture for deep networks with polynomial activation functions, greatly extending the validity of these results. Finally, we point out a difference in the asymptotic behavior of networks with analytic (and non-linear) activation functions and those with piecewise-linear activations such as ReLU.

研究の動機と目的

• 多項式活性化関数を用いる広義のニューラルネットワークにおける相関関数スケーリングに関する予想を厳密に証明すること。
• 線形およびReLUネットワークに限らない、有限幅ニューラルネットワーク動的理論の枠組みを拡張すること。
• 特に確率的勾配降下法における学習過程における広義ネットワークの挙動を解析的に制御すること。
• 解析的（例：多項式）活性化関数と区分的線形（例：ReLU）活性化関数の間の漸近的挙動の違いを明確にすること。

提案手法

• ネットワーク層を跨る微分の縮約を追跡するためのテンソルネットワーク形式を用いて、相関関数の漸近的スケーリングを導出する。
• i.i.d. ガウス初期化の下で、パラメータ微分の高次モーメントを計算するためにイッセリスの定理を適用する。
• 相関関数のクラスターグラフ構造を分析し、頂点が入力を表し、辺が微分の縮約を表す。
• 活性化関数 $\phi(x) = x^2$ を持つ2層ネットワークにおける特定の相関関数（例：$C_{4,3}$）の明示的スケーリングを計算する。
• 図式的および組合せ論的技法を用いて、モーメント展開における寄与項の数え上げと評価を行う。
• スケーリング指数 $n_e + (n_o - m)/2$ が、非線形ケースでさえも幅依存性を正しく予測することを示す。

実験結果

リサーチクエスチョン

• RQ1 多項式活性化関数を用いる深層ネットワークにおいて、予想される漸近的スケーリング $\mathcal{O}(n^{n_e + (n_o - m)/2})$ が成立するか？
• RQ2 非線形多項式活性化関数を用いる広義ネットワークにおける高次パラメータ微分の挙動は、線形またはReLUネットワークとどのように異なるか？
• RQ3 クラスターグラフ構造は、非線形設定において相関関数の幅スケーリングを完全に予測可能か？
• RQ4 線形ネットワークと比較して、繰り返し微分がスケーリング挙動に与える影響は何か？
• RQ5 なぜ一部のケース（例：ReLUの $C_{4,3}$）では予想がタイトでないのか？多項式ネットワークではその違いはどのように現れるか？

主な発見

• 多項式活性化関数を用いる深層ネットワークにおいて、相関関数スケーリングに関する予想が証明され、$\mathcal{O}(n^{n_e + (n_o - m)/2})$ の挙動が確認された。
• 活性化関数 $\phi(x) = x^2$ を持つ2層ネットワークにおいて、相関関数 $C_{4,3}$ は $\mathcal{O}(n^{-1})$ にスケーリングし、予測された指数と一致した。
• 解析的（例：多項式）活性化関数と区分的線形（例：ReLU）活性化関数の間で、本質的な挙動の違いが生じ、ReLUネットワークでは非タイトな境界が観察された。
• 導出結果から、多項式ネットワークにおける繰り返し微分は、寄与項の構造を豊かにするが、全体のスケーリングはクラスターグラフ構造によって支配されることを示した。
• 本手法により、非自明かつ非線形な状況においても、$C_{4,3}$ について明示的な $\mathcal{O}(n^{-1})$ スケーリングが得られ、予想の妥当性が検証された。
• 本結果により、多項式活性化関数を用いる広義ネットワークにおける有限幅の動的挙動および最適化軌道解析の厳密な理論的基盤が確立された。