[論文レビュー] Local Geometry of One-Hidden-Layer Neural Networks for Logistic Regression.

Haoyu Fu, Yuejie Chi+1 more|arXiv (Cornell University)|Feb 18, 2018

Stochastic Gradient Optimization Techniques参考文献 12被引用数 14

ひとこと要約

本論文は、ガウス分布の入力と二乗損失を用いた1層隠れ層ニューラルネットワークにおいて、経験的リスクの強い凸性と滑らかさを確立し、初期化が局所的近傍内にある場合に勾配降下法が真の値に近い点へ線形収束することを証明している。これは、再サンプリングを必要とせず、マルチニューロン論理回帰の近似的に最適なサンプルおよび計算複雑性を満たす、最初のグローバル収束保証を提供するものである。

ABSTRACT

We study the local geometry of a one-hidden-layer fully-connected neural network where the training samples are generated from a multi-neuron logistic regression model. We prove that under Gaussian input, the empirical risk function employing quadratic loss exhibits strong convexity and smoothness uniformly in a local neighborhood of the ground truth, for a class of smooth activation functions satisfying certain properties, including sigmoid and tanh, as soon as the sample complexity is sufficiently large. This implies that if initialized in this neighborhood, gradient descent converges linearly to a critical point that is provably close to the ground truth without requiring a fresh set of samples at each iteration. This significantly improves upon prior results on learning shallow neural networks with multiple neurons. To the best of our knowledge, this is the first global convergence guarantee for one-hidden-layer neural networks using gradient descent over the empirical risk function without resampling at the near-optimal sampling and computational complexity.

研究の動機と目的

• マルチニューロン論理回帰モデルからのデータを用いて勾配降下法で学習する1層隠れ層ニューラルネットワークの局所的幾何構造を分析すること。
• 経験的リスク関数が真の値の近傍で強く凸的かつ滑らかになる条件を確立すること。
• 各反復で再サンプリングを必要とせずに、勾配降下法が真の値に近い点へグローバルに収束することを証明すること。
• 各反復ごとに新規サンプルを必要としないようにした、浅いニューラルネットワーク学習に関する先行研究の拡張を図ることで、計算およびサンプリングの効率を向上させること。

提案手法

• 滑らかな活性化関数を用いた1層隠れ層全結合ニューラルネットワークにおける二乗損失を用いた経験的リスク関数を分析する。
• ガウス分布の入力と十分なサンプル複雑性のもとで、真のパラメータの近傍でリスク関数が強く凸的かつ滑らかであることを証明する。
• 高次元確率および行列集中の道具を用いて、真のパrameters回りの経験的リスクのヘッセ行列を評価する。
• 勾配降下法がこの近傍内に存在する臨界点へ線形収束することを示し、その点が真の値に確かに近いことを保証する。
• シグモイド関数やtanh関数などの活性化関数が満たす特定の滑らかさおよび有界な微分係数の条件に依存する。
• 局所領域における一様な凸性および滑らかさを示すことで、再サンプリングを必要としない収束を確立し、安定した最適化ダイナミクスを可能にする。

実験結果

リサーチクエスチョン

• RQ1 1層隠れ層ニューラルネットワークにおいて、入力がガウス分布に従い、十分なサンプル数が得られる条件下で、経験的リスク関数が真の値の近傍で強く凸的かつ滑らかになる条件は何か？
• RQ2 各反復で再サンプリングを必要とせず、勾配降下法が真の値に近い点へグローバルに収束できるか？
• RQ3 シグモイド関数やtanh関数などの滑らかな活性化関数を用いる場合、強い凸性および滑らかさを保証するにはどの程度のサンプル複雑性が必要か？
• RQ4 リスクランドスケープの局所的幾何構造は、勾配降下法で学習される浅いニューラルネットワークの最適化収束にどのように影響を与えるか？
• RQ5 近似的に最適なサンプリングおよび計算複雑性のもとで、各反復ごとに新規サンプルを必要としない収束保証は得られるか？

主な発見

• 入力がガウス分布に従い、十分に大きなサンプル複雑性が確保される場合、二乗損失を用いた経験的リスク関数は真の値の近傍で強く凸的かつ滑らかである。
• 初期化がこの近傍内にある場合、勾配降下法は真の値に確かに近い臨界点へ線形収束する。
• 各反復での再サンプリングを必要としない収束保証が成立し、これにより各ステップで新規サンプルを必要としていた先行研究を改善している。
• シグモイド関数やtanh関数を含む広範な滑らかな活性化関数のクラスに適用可能であり、緩い正則性条件のもとで成立する。
• これは、再サンプリングを必要とせず、近似的に最適なサンプルおよび計算複雑性のもとで、1層隠れ層ニューラルネットワークにおける勾配降下法の最初のグローバル収束保証である。
• 局所的幾何構造により、安定的かつ効率的な最適化が可能となり、高確率で近似的最適解へ収束を保証できる。