[論文レビュー] On Random Kernels of Residual Architectures

Etai Littwin, Tomer Galanti+1 more|arXiv (Cornell University)|Jan 28, 2020

Advanced Neural Network Applications参考文献 17被引用数 4

ひとこと要約

本稿は、残差（ResNet）および密接続（DenseNet）アーキテクチャにおけるニューラルタングエントランスカーネル（NTK）の有限幅および有限深さ補正を導出し、適切な初期化のもとで幅と深さを同時に増大させると、これらのネットワークが無限幅NTK状態に収束することを示している。ヴァニラネットワークとは異なり、ResNetsおよびDenseNetsは最小限のパラメータ複雑性（それぞれO(L)およびO(L²)）でNTK分散を有界に保ち、有限サイズでもランダム勾配特徴を用いた効果的なカーネル回帰を可能にする。

ABSTRACT

We derive finite width and depth corrections for the Neural Tangent Kernel (NTK) of ResNets and DenseNets. Our analysis reveals that finite size residual architectures are initialized much closer to the "kernel regime" than their vanilla counterparts: while in networks that do not use skip connections, convergence to the NTK requires one to fix the depth, while increasing the layers' width. Our findings show that in ResNets, convergence to the NTK may occur when depth and width simultaneously tend to infinity, provided with a proper initialization. In DenseNets, however, convergence of the NTK to its limit as the width tends to infinity is guaranteed, at a rate that is independent of both the depth and scale of the weights. Our experiments validate the theoretical results and demonstrate the advantage of deep ResNets and DenseNets for kernel regression with random gradient features.

研究の動機と目的

• 残差接続および密接続が有限幅・有限深さネットワークにおけるニューラルタングエントランスカーネル（NTK）の無限幅極限への収束に与える影響を理解すること。
• ヴァニラ全結合ネットワークの制限を解決すること：NTK状態への収束には深さに応じた幅のスケーリングが必要であり、これによりパラメータ複雑性が高くなること。
• 残差および密接続アーキテクチャにおけるNTKの収束速度を特定すること、特に対角項および非対角項に焦点を当てる。
• MNISTおよび小規模UCIデータセットを用いた実験を通じて、ランダム勾配特徴を用いた理論的収束速度の妥当性を検証すること。
• 深さに伴うNTK安定性の向上により、固定幅でも深さ付きResNetsおよびDenseNetsがヴァニラアーキテクチャを上回るカーネル回帰性能を示すことを実証すること。

提案手法

• ReLUフィードフォワードネットワークにおける前向き・後向きノルム伝播の双対性を導入し、NTK要素の分散を分析する。
• 層間活性化および勾配の再帰的解析を用いて、ResNetsおよびDenseNetsのNTKにおける有限幅および深さ補正を導出する。
• モーメントベース解析を用いて、期待二乗NTK値およびその分散を計算し、対角項に関してはE[G(x,x)]およびE[G(x,x)²]に焦点を当てる。
• 幅nおよび深さLを含むE[G(x,x)²]/E[G(x,x)]²の上界および下界を用いて、NTKの正規化分散の境界を確立する。
• ヴァニラReLUネットワークの結果をベースケースとして採用し、スキップ接続の再帰的分解を用いて、残差および密接続アーキテクチャに拡張する。
• MNISTおよびUCIデータセットを用いて、ランダム勾配特徴G(x;w)をカーネル近似として用いたカーネル回帰性能の実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 残差および密接続アーキテクチャにおいて、NTKの無限幅極限への収束速度は幅および深さにどのように依存するか？
• RQ2 ヴァニラネットワークとは異なり、幅と深さを同時に増大させた場合にResNetsおよびDenseNetsがNTK収束を達成できるか？
• RQ3 有限サイズのResNetsおよびDenseNetsがNTK分散を有界に保つために必要なパラメータ複雑性は、ヴァニラネットワークと比べてどの程度か？
• RQ4 ResNetsおよびDenseNetsにおけるランダム勾配特徴を用いたカーネル回帰の性能は、深さに伴ってどのようにスケーリングするか？ヴァニラアーキテクチャと比較して。
• RQ5 残差および密接続ネットワークにおける全NTK行列の同時分布挙動はどのように振る舞うか？また、対角項のみの分析と比較してどう異なるか？

主な発見

• ResNetsでは、適切な初期化のもとで幅と深さが同時に無限大に近づくとNTK極限に収束し、パラメータ複雑性は低く抑えられ、O(L)にまで低下する。
• DenseNetsでは、幅が増大するにつれてNTKが無限幅極限に収束することが保証され、収束速度は深さおよび重みスケールに依存しない。
• ResNetsにおける対角NTK項G(x,x)の正規化分散は、exp(5m/n + C/n ∑ αl/(1+αl))とスケーリングされ、幅と深さが同時に増大する場合に有界のまま保たれる。
• DenseNetsでは、正規化分散がmax{1, 1/(L log²L) · exp(C/n)}で有界であることが示され、固定幅でも深さを増やすことでカーネル近似の品質が向上することが分かる。
• 実験的結果から、固定幅のResNetsおよびDenseNetsにおいても、ランダム勾配特徴を用いたカーネル回帰性能が深さに伴い向上し、無限幅極限に近づくことが示された。これはヴァニラネットワークにおける性能劣化とは対照的である。
• NTK分散に関する理論的境界がMNISTおよび小規模UCIデータセットで実証的に検証され、深さ付き残差および密接続アーキテクチャが有限サイズでも安定したNTK挙動を維持していることが確認された。