[論文レビュー] Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs

Alon Brutzkus, Amir Globerson|arXiv (Cornell University)|Feb 26, 2017

Stochastic Gradient Optimization Techniques参考文献 27被引用数 78

ひとこと要約

本論文は一般の場合におけるノーオーバーラップ畳み込みネットの学習のNP困難性を証明し、ガウス分布の入力に対して勾配降下法が全体最適解へグローバルに収束することを示すとともに、重複するフィルタがグローバル最適性を崩すことを示している。

ABSTRACT

Deep learning models are often successfully trained using gradient descent, despite the worst case hardness of the underlying non-convex optimization problem. The key question is then under what conditions can one prove that optimization will succeed. Here we provide a strong result of this kind. We consider a neural net with one hidden layer and a convolutional structure with no overlap and a ReLU activation function. For this architecture we show that learning is NP-complete in the general case, but that when the input distribution is Gaussian, gradient descent converges to the global optimum in polynomial time. To the best of our knowledge, this is the first global optimality guarantee of gradient descent on a convolutional neural network with ReLU activations.

研究の動機と目的

• ReLU活性化とノーオーバーラップを伴う1隠れ層の畳み込みネットワークの学習問題を動機づけ、形式化する。
• 一般データ分布に対する hardness の結果を示す（学習は NP-完全である）。
• 分布依存的な解法可能性を確立する：Gaussian 入力の下で勾配降下法が全体最適解へ収束する。
• ノーオーバーラップとオーバーラップするフィルタ設定の違いを特徴づける。
• Gaussian と非 Gaussian 入力間の解法可能性の差を経験的に示す例を提供する。

提案手法

• ネットワークを f(x;w) = (1/k) sum_i sigma(w · x[i]) として、ノーオーバーラップ構造と平均プーリングのもとに定義する。
• Gaussian 入力の下で母集団リスク ell(w) を g(u,v) = E[ sigma(u·x) sigma(v·x) ] の形式で表現し、g およびその勾配の閉形式を導出する（補題 3.1 および 3.2）。
• No-Overlap Network に特化して、||w||、||w*||、および w と w* の間の角度 theta に依存する簡略化された損失 l(w) を得る（式(8)）。
• 一般分布設定における No-Overlap Network の学習の NP-hardness を、Set-Splitting-by-k-Sets からの簡約により証明する（定理4.2）。
• Gaussian 入力の下で勾配降下法が近似的な全体最適解へ収束することを証明し、臨界点の特徴付けと高い確率での O(1/epsilon^2) 回迭回長を含む（定理5.2）。
• 解法可能性の差の経験的実証を提供し、オーバーラップするフィルタの挙動を議論する（セクション6および7。）

実験結果

リサーチクエスチョン

• RQ1 一般的な入力分布の下で、ReLU 活性化を持つ No-Overlap 畳み込みネットワークの学習は NP-hard ですか。
• RQ2 Gaussian 入力分布の下で、No-Overlap Network に対する勾配降下法はグローバル最適解へ収束できますか、もしそうなら複雑さはどのくらいですか？
• RQ3 オーバーラップするフィルタの含有は、グローバル最適解の存在と勾配降下法の挙動にどう影響しますか？
• RQ4 Gaussian 入力下の理論的解法可能性と一般ケースの難易度が、経験的結果と一致しますか？

主な発見

• ノーオーバーラップネットワークの学習は、制限なしの入力分布の下で NP-完全である（Set-Splitting-by-k-Sets からの簡約）。
• Gaussian 入力分布に対して、勾配降下法は母集団リスクの全体最適解へ多項式時間で収束する（反復回数は O(1/epsilon^2)、高い確率で）。
• ノーオーバーラップネットワークの母集団損失には3つの臨界点があり、w = 0 で局所最大、w = w* で一意のグローバル最小、そして退化的な鞍点がある；これらの性質は収束保証を支持する。
• オーバーラップするフィルタを持つネットワークは、グローバルでない局所極小と非自明なサブ最適領域を示し、ランダムリスタートが経験的にグローバル最小を回復するのに役立つ。
• 経験的実験は、Gaussian データに対して勾配ベースの最適化が成功する一方で、非 Gaussian データでは行き詰まることがあることを示し、解法可能性のギャップを示す。