[論文レビュー] Understanding the Loss Surface of Neural Networks for Binary Classification

Shiyu Liang, Ruoyu Sun+2 more|arXiv (Cornell University)|Feb 19, 2018

Neural Networks and Applications参考文献 27被引用数 32

ひとこと要約

この論文は、バイナリ分類におけるニューラルネットワークの補助損失関数のすべての局所的最小値が、訓練誤差ゼロを達成する条件を確立する。増加的かつ厳密に凸なニューロン、1層またはスキップ接続付きの多層構造、および滑らかなハムリング損失を用いることで、すべての局所的最小値が完全な訓練性能を達成することを示しており、SGDの実験的成功に対する理論的裏付けを提供する。

ABSTRACT

It is widely conjectured that the reason that training algorithms for neural networks are successful because all local minima lead to similar performance, for example, see (LeCun et al., 2015, Choromanska et al., 2015, Dauphin et al., 2014). Performance is typically measured in terms of two metrics: training performance and generalization performance. Here we focus on the training performance of single-layered neural networks for binary classification, and provide conditions under which the training error is zero at all local minima of a smooth hinge loss function. Our conditions are roughly in the following form: the neurons have to be strictly convex and the surrogate loss function should be a smooth version of hinge loss. We also provide counterexamples to show that when the loss function is replaced with quadratic loss or logistic loss, the result may not hold.

研究の動機と目的

• 確率的勾配降下法（SGD）がバイナリ分類の深層ニューラルネットワークの学習に成功する理由を理論的に説明すること。
• 経験的損失関数のすべての局所的最小値がゼロ訓練誤差を達成する条件を同定すること。
• グローバル最小値であってもゼロ分類誤差を達成しない可能性があるため、2次損失関数に代わるアプローチを提案すること。
• 標準的な2次損失とは異なり、滑らかなハムリング損失関数を用いてニューラルネットワークの損失関数の形状を分析すること。
• ハムリング型損失関数を用いる場合、過パラメータ化がなくても、すべての局所的最小値でゼロ訓練誤差が保証されることを示すこと。

提案手法

• 微分可能であることを保証するため、ハムリング損失に基づく滑らかな補助損失関数を定義し、最適化に適した形にすること。
• 損失関数の幾何的性質を良好にするために、増加的かつ厳密に凸な活性化関数を備えたニューラルネットワークを用いること。
• 一次最適性条件と臨界点周辺のテイラー展開を用いて、局所的最小値における損失関数の振る舞いを分析すること。
• 条件を緩和（例えば、非凸なニューロンやスキップ接続なし）した場合、非ゼロ訓練誤差を示す局所的最小値が存在しうることを示す反例を構築すること。
• 指定された条件下では、任意の局所的最小値がゼロ訓練誤差を達成することを証明し、そのような点からさらに損失を低下させることができないことを示すこと。
• しきい値ユニットを備えた2層ネットワークを構築し、データ分布の離散的近似を実現することで、理論的条件が満たされない場合に非ゼロ誤差を示す局所的最小値が存在することを示すこと。

実験結果

リサーチクエスチョン

• RQ1 バイナリ分類において、経験的損失関数のすべての局所的最小値がゼロ訓練誤差を達成する条件は何か？
• RQ2 ハムリング型損失関数を用いる場合、過パラメータ化がなくても、すべての局所的最小値でゼロ訓練誤差を保証できるか？
• RQ3 活性化関数の性質（例：凸性、単調増加性）は、損失関数の幾何的形状にどのように影響するか？
• RQ4 ネットワークにスキップ接続がなく、または非凸なニューロンが使用された場合、訓練誤差はどのように変化するか？
• RQ5 主な結果を得るためには、線形分離性または部分空間分離性の仮定が必要か？

主な発見

• 活性化関数が増加的かつ厳密に凸であり、ネットワークが単層またはスキップ接続付きの構造であり、損失関数がハムリング損失の滑らかな版である場合、すべての局所的最小値がゼロ訓練誤差を達成する。
• 反例により、これらの条件を緩和（非凸または非増加的ニューロンの使用など）すると、非ゼロ訓練誤差を示す局所的最小値が存在しうることが示された。
• データが線形分離可能であるか、正例と負例が互いに交差しない部分空間上にあるという仮定のもとで、この結果は成り立つ。
• 証明は、局所的最小値の周囲でのあらゆる摂動が損失を低下させないことを示すことに依拠しており、これは損失がゼロ誤差で局所的に最小化されていることを示唆する。
• しきい値ユニットを備えた2層ネットワークの構築により、理論的条件が満たされない場合に非ゼロ誤差を示す局所的最小値が存在しうることが示された。
• 分析により、2次損失関数では、グローバル最小値であってもゼロ分類誤差を達成できない場合があることが明らかになった。これは、この文脈においてハムリング型損失の優位性を強調する。