[論文レビュー] Deep Networks and the Multiple Manifold Problem

Sam Buchanan, Dar Gilboa+1 more|arXiv (Cornell University)|Aug 25, 2020

Medical Imaging and Analysis被引用数 4

ひとこと要約

本稿は、単位球面上の2つの低次元多様体を含む二値分類問題において、完全に接続されたReLUネットワークの深層学習一般化を分析する。十分な深さと幅がある場合、確率的勾配降下法は初期化が一様でない場合でも、高確率で迅速に完全分離を学習することを証明する。非漸近的ニューラルタングエントロピー核（NTK）の集中をマルティングール不等式を用いて解析することで、ネットワークの深さ（適合リソースとして）と幅（統計的リソースとして）の間の明示的なトレードオフを確立する。

ABSTRACT

We study the multiple manifold problem, a binary classification task modeled on applications in machine vision, in which a deep fully-connected neural network is trained to separate two low-dimensional submanifolds of the unit sphere. We provide an analysis of the one-dimensional case, proving for a simple manifold configuration that when the network depth $L$ is large relative to certain geometric and statistical properties of the data, the network width $n$ grows as a sufficiently large polynomial in $L$, and the number of i.i.d. samples from the manifolds is polynomial in $L$, randomly-initialized gradient descent rapidly learns to classify the two manifolds perfectly with high probability. Our analysis demonstrates concrete benefits of depth and width in the context of a practically-motivated model problem: the depth acts as a fitting resource, with larger depths corresponding to smoother networks that can more readily separate the class manifolds, and the width acts as a statistical resource, enabling concentration of the randomly-initialized network and its gradients. The argument centers around the neural tangent kernel and its role in the nonasymptotic analysis of training overparameterized neural networks; to this literature, we contribute essentially optimal rates of concentration for the neural tangent kernel of deep fully-connected networks, requiring width $n \gtrsim L\,\mathrm{poly}(d_0)$ to achieve uniform concentration of the initial kernel over a $d_0$-dimensional submanifold of the unit sphere $\mathbb{S}^{n_0-1}$, and a nonasymptotic framework for establishing generalization of networks trained in the NTK regime with structured data. The proof makes heavy use of martingale concentration to optimally treat statistical dependencies across layers of the initial random network. This approach should be of use in establishing similar results for other network architectures.

研究の動機と目的

• 構造的データにおける深層学習のための厳密なモデルとして、複数の多様体問題を形式化すること。
• 低次元多様体上の二値分類におけるネットワークの深さと幅が一般化に与える役割を分析すること。
• 過パラメータ化領域における初期化が一様な勾配降下法の収束性および一般化保証を確立すること。
• 構造的で幾何的データを対象とするNTK領域における一般化の非漸近的フレームワークを構築すること。
• 深さが多様体分離において適合リソースとして機能し、幅が統計的リソースとして機能することを示すこと。

提案手法

• 単位球面 Sn0−1 の2つの不交差部分多様体上での二値分類タスクを分析する。
• 過パラメータ化された深層ReLUネットワークにおける一般化を研究するために、ニューラルタングエントロピー核（NTK）を用いる。
• 確率的ネットワーク初期化における各層間の統計的依存性を扱うために、マルティングール集中不等式を適用する。
• d0次元部分多様体上でのNTKのほぼ最適な集中レートを導出する。これには幅 n ≥ L · poly(d0) が必要である。
• ネットワークの一般化を保証する決定的積分方程式を構築し、その解の存在が幾何的パラメータに依存することを示す。
• 非漸近的解析を用いて、データサイズに依存しないサンプル複雑性を確立する。この複雑性は問題の難易度にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 深さ、幅、およびトレーニングサンプル数が、球面上の2つの低次元多様体を勾配降下法で証明可能に分離する条件は何か？
• RQ2 過パラメータ化されたReLUネットワークにおける構造的データの一般化において、深さと幅がそれぞれどのように寄与するか？
• RQ3 ニューラルタングエントロピー核（NTK）は、構造的部分多様体上で一様に集中するか？そのために必要な幅は何か？
• RQ4 曲率と分離度を有する多様体上にデータが存在する場合、NTK領域における一般化のサンプル複雑性は何か？
• RQ5 ネットワークの一般化能力は、曲率や多様体間距離といった幾何的性質に依存するか？

主な発見

• d0 = 1 の場合、深さ L ≥ poly(κ, Cρ, log(n0))、幅 n ≥ poly(L, log(Ln0))、サンプル数 N ≥ poly(L) であれば、勾配降下法は高確率で完全一般化を達成する。
• 必要な幅は L および log(Ln0) の多項式として増加し、多様体の曲率とデータ密度に明示的な依存関係を示す。
• L ≳ ∆−1 であれば、図3の設定に対して証明可能な解が存在し、一般化が保証される。
• 幅 n ≥ L · poly(d0) であれば、部分多様体上でのNTKが一様に集中し、安定した学習ダイナミクスが保証される。
• サンプル複雑性は L の多項式に依存し、サンプル数とは無関係に、幾何的パラメータにのみ依存する。
• マルティングール集中技術により、NTK集中の最適な境界が得られ、一般化の非漸近的解析が可能になる。