[論文レビュー] Gradient Descent Learns One-hidden-layer CNN: Don't be Afraid of Spurious Local Minima

Simon S. Du, Jason D. Lee+3 more|arXiv (Cornell University)|Dec 3, 2017

Adversarial Robustness in Machine Learning被引用数 101

ひとこと要約

勾配降下法による重み正規化は、非重複パッチを持つ二層CNNを、ガウス入力下で学習できる。紛らわしい局所最小が存在しても、複数回のランダムリスタートで成功確率を高められる。

ABSTRACT

We consider the problem of learning a one-hidden-layer neural network with non-overlapping convolutional layer and ReLU activation, i.e., $f(\\mathbf{Z}, \\mathbf{w}, \\mathbf{a}) = \\sum_j a_j\\sigma(\\mathbf{w}^T\\mathbf{Z}_j)$, in which both the convolutional weights $\\mathbf{w}$ and the output weights $\\mathbf{a}$ are parameters to be learned. When the labels are the outputs from a teacher network of the same architecture with fixed weights $(\\mathbf{w}^*, \\mathbf{a}^*)$, we prove that with Gaussian input $\\mathbf{Z}$, there is a spurious local minimizer. Surprisingly, in the presence of the spurious local minimizer, gradient descent with weight normalization from randomly initialized weights can still be proven to recover the true parameters with constant probability, which can be boosted to probability $1$ with multiple restarts. We also show that with constant probability, the same procedure could also converge to the spurious local minimum, showing that the local minimum plays a non-trivial role in the dynamics of gradient descent. Furthermore, a quantitative analysis shows that the gradient descent dynamics has two phases: it starts off slow, but converges much faster after several iterations.

研究の動機と目的

• 非重複畳み込み層を持つ二層CNNの学習ダイナミクスの理解を動機づける。
• 紛らわしい局所極小点の存在を含む最適化の地形を特徴づける。
• ガウス入力下でランダムに初期化された勾配降下法が真のパラメータを回復できることを示す。
• 収束が保証される条件を提示し、収束過程を定量化する。

提案手法

• 非重なりパッチとReLU活性化を持つネットワークを f(Z,w,a)=sum_i a_i sigma(w^T Z_i) としてモデル化する。
• 最初の層を重み正規化で再パラメータ化する： w = v / ||v|| を用い、損失 ell(v,a) を解析する。
• ガウス Z の下での母集団損失と勾配の表現を導出する（定理3.1と3.2）。
• 初期化に基づく保証を伴う勾配降下の二相収束を証明する（定理4.1と4.2）。
• 紛らわしい局所極小点の存在を示し、特定の初期化がそれへ収束することを示す（定理4.3）。
• 高い確率でグローバル収束をもたらす確率的初期化スキームを提供し、リスタートの役割について論じる。

実験結果

リサーチクエスチョン

• RQ1 ガウス入力を用いた1-hidden-layer CNNの真の重みを、ランダムに初期化された勾配降下法で学習できるか。
• RQ2 目的関数には紛らわしい局所極小点が存在するか、そして勾配降下法はそれでもグローバル最小値に到達できるか。
• RQ3 初期化と二相ダイナミクスが収束速度と成功確率にどう影響するか。

主な発見

• 勾配降下法が教師パラメータへ一定の確率で収束する初期化領域が存在する；複数回のリスタートにより確率を1に引き上げられる。
• 同じランダム初期化スキームの下に紛らわしい局所極小点があり、条件によっては勾配降下法がそこへ収束する。
• 最適化ダイナミクスは二つのフェーズを示す：十分な進捗後に遅い初期フェーズの後、線形レートのより速いフェーズへ移行する。
• 解析は、重みと真の重みの間の角度、および a^T a* に依存する明示的な母集団損失と勾配の形を提供する。
• ガウス入力では、適切なリスタートを前提として、ランダムに初期化された勾配降下法に多項式時間の収束保証があることを示唆する。