[論文レビュー] Diverse Neural Network Learns True Target Functions

Bo Xie, Yingyu Liang+1 more|arXiv (Cornell University)|Nov 9, 2016

Neural Networks and Applications被引用数 67

ひとこと要約

この論文は、多様な隠れユニットを備えた1層隠れ層ReLUニューラルネットワークが、偽の局所最適解を有さないことを示しており、勾配降下法がグローバル最適解に収束可能であることを保証している。1次最適性条件を分析し、拡張特徴行列の最小特異値をカーネルスペクトルと幾何的不一致に結びつけることで、著者らは多様性とスペクトル特性が真のターゲット関数の有効な学習を可能にする鍵要因であると特定した。

ABSTRACT

Neural networks are a powerful class of functions that can be trained with simple gradient descent to achieve state-of-the-art performance on a variety of applications. Despite their practical success, there is a paucity of results that provide theoretical guarantees on why they are so effective. Lying in the center of the problem is the difficulty of analyzing the non-convex loss function with potentially numerous local minima and saddle points. Can neural networks corresponding to the stationary points of the loss function learn the true target function? If yes, what are the key factors contributing to such nice optimization properties? In this paper, we answer these questions by analyzing one-hidden-layer neural networks with ReLU activation, and show that despite the non-convexity, neural networks with diverse units have no spurious local minima. We bypass the non-convexity issue by directly analyzing the first order optimality condition, and show that the loss can be made arbitrarily small if the minimum singular value of the "extended feature matrix" is large enough. We make novel use of techniques from kernel methods and geometric discrepancy, and identify a new relation linking the smallest singular value to the spectrum of a kernel function associated with the activation function and to the diversity of the units. Our results also suggest a novel regularization function to promote unit diversity for potentially better generalization.

研究の動機と目的

• 非凸な損失関数の下でも勾配降下法が深層ニューラルネットワークを効果的に訓練できる理由を理解すること。
• 1層隠れ層ReLUネットワークにおける局所最適解がグローバル最適解に対応する条件を同定すること。
• ユニットの多様性とカーネルスペクトルが最適化と一般化を向上させる役割を形式化すること。
• より良い一般化を促進するユニット多様性を促進する新しい正則化スキームを提案すること。
• 合成データおよび実世界のデータセット（MNIST）を用いた数値実験により理論的知見を検証すること。

提案手法

• 非凸性を回避するため、最小二乗回帰と1次最適性条件を用いて1層隠れ層ReLUネットワークを分析する。
• 拡張特徴行列Dを導入し、小さな訓練損失は最小特異値s_m(D)に依存することを示す。
• s_m(D)と2つの要因との間の新しい関係を確立する：ReLUに関連するカーネル関数スペクトルと、ユニット重みの幾何的不一致を測る項。
• カーネル法と幾何的不一致理論の技術を用いて、s_m(D)の下界を導出する。
• 重みの多様性を促進する新しいL2不一致に基づく正則化項R(W)を提案する。
• 合成データおよびMNISTにおける数値シミュレーションを通じて理論的主張を検証し、特異値、不一致、一般化誤差を測定する。

実験結果

リサーチクエスチョン

• RQ1 非凸性が存在する中で、1層隠れ層ReLUネットワークにおける局所最適解がグローバル最適解に対応する条件は何か？
• RQ2 隠れユニット重みの多様性は最適化の多様性と一般化性能にどのように影響するか？
• RQ3 拡張特徴行列の最小特異値とカーネルスペクトルおよび重み多様性との間の数学的関係は何か？
• RQ4 幾何的不一致は、ニューラルネットワークにおける訓練損失と一般化誤差を予測する意味のある指標として機能できるか？
• RQ5 L2不一致に基づく正則化は実際の一般化性能を向上させるか？

主な発見

• 拡張特徴行列の最小特異値が十分に大きい場合、多様なReLUユニットを備えたニューラルネットワークは偽の局所最適解を有さない。
• 最小特異値s_m(D)は、ReLU活性化関数に関連するカーネルスペクトルに依存する項と、幾何的不一致を用いて重みの多様性を測る項の下界によって抑えられる。
• 最小特異値が大きいと、カーネルスペクトルの減少が遅く、ユニット重みが多様である場合に小さな訓練損失が達成される。
• 数値実験により、L2不一致に基づく正則化が訓練誤差とテスト誤差を低下させることを確認した。特に小さなネットワークでは、テスト誤差が最大25%まで改善された。
• MNISTでは、すべてのネットワークサイズにおいて、正則化によりテスト誤差が0.2〜0.7パーセンテージポイントの範囲で一貫して低下し、実用的利点が示された。
• 理論的分析と実験結果が一致している：不一致が小さいほど特異値が高く、最適化性能が向上する。