[論文レビュー] On the Complexity of Learning Neural Networks

Le Song, Santosh Vempala+2 more|arXiv (Cornell University)|Jul 14, 2017

Stochastic Gradient Optimization Techniques参考文献 2被引用数 24

ひとこと要約

この論文は、滑らかな活性化関数（例：ReLU、シグモイド）を用いた1層隠れ層のニューラルネットワークの学習における、複雑さの基本的下界を確立する。対数凹分布の入力下で、すべての標準的なSGDの変種を含む統計的クエリアルゴリズムは、非常に単純で実現可能な関数を学習するために指数関数的に多くのクエリを必要とすることが示されている。これは、ネットワークのサイズが小さく、データ分布が穏やかであるにもかかわらず、その事実である。

ABSTRACT

The stunning empirical successes of neural networks currently lack rigorous theoretical explanation. What form would such an explanation take, in the face of existing complexity-theoretic lower bounds? A first step might be to show that data generated by neural networks with a single hidden layer, smooth activation functions and benign input distributions can be learned efficiently. We demonstrate here a comprehensive lower bound ruling out this possibility: for a wide class of activation functions (including all currently used), and inputs drawn from any logconcave distribution, there is a family of one-hidden-layer functions whose output is a sum gate, that are hard to learn in a precise sense: any statistical query algorithm (which includes all known variants of stochastic gradient descent with any loss function) needs an exponential number of queries even using tolerance inversely proportional to the input dimensionality. Moreover, this hard family of functions is realizable with a small (sublinear in dimension) number of activation units in the single hidden layer. The lower bound is also robust to small perturbations of the true weights. Systematic experiments illustrate a phase transition in the training error as predicted by the analysis.

研究の動機と目的

• なぜニューラルネットワークが理論的根拠に欠けても実際には一般化がうまくいくのかを理解すること。
• 滑らかな活性化関数と穏やかな入力を用いた1層隠れ層のニューラルネットワークが生成する関数が、効率的に学習可能かどうかを調査すること。
• 統計的クエリアルゴリズム（すべての既知の勾配ベースの学習手法を代表する）が、このような関数を効率的に学習可能かどうかを特定すること。
• 滑らかな活性化関数と対数凹分布入力という現実的な仮定下でのニューラルネットワーク学習の形式的複雑性の障壁を確立すること。

提案手法

• 勾配更新が損失導関数の期待値に関するクエリに対応する統計的クエリ（SQ）問題として、ニューラルネットワークの学習を形式化する。
• Feldmanらによって一般化されたSQフレームワークを適用し、クエリの精度と許容誤差をモデル化するVSTAT(t)オラクルを用いる。
• シグモイドまたはReLU活性化関数と和ゲート出力を備えた、小さな1層隠れ層ネットワークで計算可能な関数の族を構築する。
• これらの関数間の相関構造が高次元の統計的次元を生じさせることを示し、クエリ複雑度が指数関数的になることを示唆する。
• コーシー＝シュワルツとマルコフの不等式を用いて、1回のクエリで除外可能な関数の数を上限付け、指数的下界を示す。
• 真のネットワーク重みの小さな摂動に対しても下界がロバストであることを証明し、実用的関連性を高める。

実験結果

リサーチクエスチョン

• RQ1 滑らかな活性化関数と対数凹分布入力を用いた1層隠れ層のニューラルネットワークが生成する関数は、統計的クエリアルゴリズムによって効率的に学習可能か？
• RQ2 深層ネットワークの訓練におけるSGDの経験的成功は、現実的な仮定下での既知の複雑性理論的下界と矛盾するか？
• RQ3 1つの小さな1層隠れ層ネットワークで実現可能な関数クラスを学習するために、任意の統計的クエリアルゴリズムが必要な最小クエリ数は何か？
• RQ4 ニューラルネットワーク族内の関数間の相関構造は、ターゲット関数の学習可能性にどのように影響するか？
• RQ5 真のネットワーク重みの小さな摂動に対しても、硬さの結果がロバストであるか？これは現実の訓練ノイズを反映している。

主な発見

• 滑らかな活性化関数と対数凹分布入力を用いた1層隠れ層のニューラルネットワーク関数族を学習するには、統計的クエリアルゴリズムが指数関数的数のクエリを必要とする。
• 下界は、ReLUやシグモイドを含む、一般的に使用される活性化関数すべてに、同じ仮定下で成立する。
• 困難な関数族は、次元に対して部分線形（次元の部分）の隠れユニット数でのみ実現可能であり、これは困難さがネットワークサイズに起因するものではないことを示している。
• 真のネットワーク重みの小さな摂動に対しても下界がロバストであるため、現実の訓練ノイズ下でも成り立つ。
• 理論的下界は、解析と整合的な訓練誤差のフェーズ遷移を示す体系的実験によって裏付けられている。
• 学習問題の統計的次元が指数的に大きいことが示され、これは任意のSQアルゴリズムがそのクラスを効率的に学習できないことを示唆する。