[論文レビュー] Recovery Guarantees for One-hidden-layer Neural Networks

Kai Zhong, Zhao Song+3 more|arXiv (Cornell University)|Jun 10, 2017

Neural Networks and Applications参考文献 19被引用数 129

ひとこと要約

本論文は、地盤となる真理近傍でのヘシアン解析と、局所強凸性領域に落ちるテンソルベース初期化を組み合わせることで、1-隠れ層ニューラルネットワークのパラメータ回復とグローバル収束保証を示す。

ABSTRACT

In this paper, we consider regression problems with one-hidden-layer neural networks (1NNs). We distill some properties of activation functions that lead to $\mathit{local~strong~convexity}$ in the neighborhood of the ground-truth parameters for the 1NN squared-loss objective. Most popular nonlinear activation functions satisfy the distilled properties, including rectified linear units (ReLUs), leaky ReLUs, squared ReLUs and sigmoids. For activation functions that are also smooth, we show $\mathit{local~linear~convergence}$ guarantees of gradient descent under a resampling rule. For homogeneous activations, we show tensor methods are able to initialize the parameters to fall into the local strong convexity region. As a result, tensor initialization followed by gradient descent is guaranteed to recover the ground truth with sample complexity $ d \cdot \log(1/ε) \cdot \mathrm{poly}(k,λ)$ and computational complexity $n\cdot d \cdot \mathrm{poly}(k,λ) $ for smooth homogeneous activations with high probability, where $d$ is the dimension of the input, $k$ ($k\leq d$) is the number of hidden nodes, $λ$ is a conditioning property of the ground-truth parameter matrix between the input layer and the hidden layer, $ε$ is the targeted precision and $n$ is the number of samples. To the best of our knowledge, this is the first work that provides recovery guarantees for 1NNs with both sample complexity and computational complexity $\mathit{linear}$ in the input dimension and $\mathit{logarithmic}$ in the precision.

研究の動機と目的

• Gaussian入力の下での1隠れ層ニューラルネットワーク（1NN）の回帰理解を動機づける。
• グラウンド-truthパラメータの近傍での二乗誤差の局所的な強凸性を生み出す活性化の条件を特定する。
• パラメータを局所の強凸領域の引力盆地に置くためのテンソルベース初期化を開発する。
• サンプル複雑性が入力次元に線形、精度に対して対数的になるグローバル収束訓練手順を確立する。

提案手法

• W*近傍のヘッセ行列の正定性を保証する活性化特性（特性3.1–3.3）を特徴づける。
• これらの活性化特性の下で、実データヘッセ行列の局所正定性と勾配法の局所線形収束を示す。
• 局所凸性領域に落とすためのWとvを初期化するテンソル手法を導入する（アルゴリズム1）。
• 次元に対する三次的依存を線形依存に低減するため、まず2次モーメントを推定してサブスペースVを回復し、その後低次元のテンソル分解を実行する（P3(V,V,V)）。
• テンソル初期化と勾配降下を組み合わせたグローバル収束アルゴリズム（アルゴリズム2）を提供し、収束保証（定理6.1）を与える。

実験結果

リサーチクエスチョン

• RQ1 1NNの平方和誤差が、グラウンド-truthパラメータの近傍で局所的な強凸性を認める活性化関数条件は何か？
• RQ2 テンソルベース初期化はパラメータを魅力的な盆地に置き、勾配法の収束を保証できるか？
• RQ3 Gaussian入力の下でグラウンド-truthパラメータを回復するために必要なサンプルおよび計算複雑性はどれか？
• RQ4 提案手法は、滑らかな同次活性化にも拡張してグローバル収束を保証できるか？

主な発見

• 活性化特性は、十分なサンプル数の下で地盤の真理の近傍でヘッセ行列の正定性をもたらす。
• 滑らかな同次活性化に対して、再サンプリングを伴う勾配降下は地盤の真理パラメータへ線形収束を達成する。
• テンソル初期化は、入力次元に対してサンプル複雑性と計算時間の線形（多項関数因子を除く）でウェイトと出力ウェイトを回復できる。
• テンソル初期化と勾配降下を組み合わせたグローバル収束手続きは、高確率で地盤の真理パラメータを回復し、サンプル複雑性は~線形に、εの対数に対しても良好な振る舞いを示す。
• 本研究は、穏当な仮定の下で、dとεの対数スケール性を持つサンプル複雑性と計算複雑性を両立する1NNの回復保証を提供する。