[論文レビュー] Non-asymptotic approximations of neural networks by Gaussian processes

Ronen Eldan, Dan Mikulincer+1 more|arXiv (Cornell University)|Feb 17, 2021

Markov Chains and Monte Carlo Methods参考文献 30被引用数 5

ひとこと要約

この論文は、ランダムな重みで初期化された広いが有限な幅のニューラルネットワークがガウス過程によってどの程度近似可能かを、非漸近的かつ定量的な境界で初めて提供する。無限次元空間における関数的中心極限定理を、輸送距離を用いて発展させることで、活性化関数の性質（多項式活性化関数では多項式の次数、一般の活性化関数では滑らかさ）に依存する収束速度を確立する。これはネールの古典的な漸近的結果に対する、有限幅に特化した厳密な類似結果を提供する。

ABSTRACT

We study the extent to which wide neural networks may be approximated by Gaussian processes when initialized with random weights. It is a well-established fact that as the width of a network goes to infinity, its law converges to that of a Gaussian process. We make this quantitative by establishing explicit convergence rates for the central limit theorem in an infinite-dimensional functional space, metrized with a natural transportation distance. We identify two regimes of interest; when the activation function is polynomial, its degree determines the rate of convergence, while for non-polynomial activations, the rate is governed by the smoothness of the function.

研究の動機と目的

• 無限幅極限における漸近的結果と実用的な有限幅のニューラルネットワークの間のギャップを埋めるために、定量的な近似境界を提供すること。
• 有限次元のマージナルではなく、無限次元関数空間における関数的中心極限定理（CLT）を確立すること。
• 輸送距離を用いて、ランダムに初期化された広いニューラルネットワークのガウス過程への明示的な収束速度を導出すること。
• 収束速度が活性化関数の性質に依存することを示すこと：多項式活性化関数では多項式の次数、一般の活性化関数では滑らかさに依存すること。
• ニューラルネットワークの構造的特徴を活用して、複雑な関数近似問題を有限次元の設定に還元することで、先行研究を統合的かつ拡張すること。

提案手法

• 著者らは、単位球面上の確率過程として、独立同一分布の標準正規重みとラデマッハ符号を用いた2層ニューラルネットワークをモデル化する。
• 空間 $ L^2(\mathbb{S}^{n-1}) $ 上の確率過程の法則の間の輸送距離（Wasserstein-2）を定義し、ネットワークの法則と極限ガウス過程との比較を可能にする。
• 多項式活性化関数の場合、ネットワークを高次元テンソル空間に埋め込み、最近の高次元CLTの進展と明示的な誤差境界を適用する。
• 一般の滑らかな活性化関数の場合、活性化関数の多項式近似を用い、滑らかさの観点から誤差を評価することで、問題を多項式ケースに還元する。
• ハイルの定理とエルミート多項式展開を用いて、活性化関数のフーリエ係数の減衰を制御する。
• 最終的な境界は、近似理論の誤差項と確率的集中の項を組み合わせることで得られ、ネットワーク幅 $k$、入力次元 $n$、活性化関数の滑らかさの関数として明示的な収束速度が得られる。

実験結果

リサーチクエスチョン

• RQ1 ランダムに初期化された広いニューラルネットワークは、有限個の入力点でのみではなく、関数空間全体においてどの程度ガウス過程に収束するか？
• RQ2 非漸近的領域において収束速度は、活性化関数の性質かネットワーク幅に依存するか？
• RQ3 輸送距離を用いた無限次元空間において、明示的かつ定量的な境界を持つ関数的CLTを確立できるか？
• RQ4 多項式でない活性化関数と多項式活性化関数の間で、収束速度にどのような差が生じるか？
• RQ5 近似理論を用いて、一般の活性化関数の解析をどの程度多項式ケースに還元できるか？

主な発見

• 2層ネットワークで多項式活性化関数の次数が $d$ の場合、ネットワークとその極限ガウス過程との間のWasserstein-2距離は、$O(k^{-1/6})$ に比例する上に、活性化関数のフーリエ係数の $L^2$-ノルムに依存する項が加わる。
• ReLU活性化関数の場合、収束速度は $O\left(\left(\frac{1}{k^{1/6}} + \left(\frac{\log n \log \log k}{\log k}\right)^2\right)\right)$ であり、$k^{-1/6}$ 項が支配的である。
• tanh などの滑らかな活性化関数の場合、収束速度は指数的に速い：$O\left(\exp\left(-C^{-1}\sqrt{\frac{\log k}{\log n \log \log k}}\right)\right)$ であり、多項式速度よりも著しく速い。
• 入力点の数が増えても収束速度が劣化しないため、任意の有限個の入力点の同時分布に対しても境界が頑健である。
• 解析により、非多項式ケースの収束速度は活性化関数の滑らかさが支配的であり、$\tanh$ の場合 $R_\sigma(d) \leq e^{-C\sqrt{d}}$ が成り立ち、超多項式収束が得られる。
• ネールの古典的なCLTに対する有限幅で定量的な類似結果を確立し、ガウス過程による広いニューラルネットワークの関数的非漸近的近似を初めて提供した。