[論文レビュー] Piecewise Strong Convexity of Neural Networks

Tristan Milne|arXiv (Cornell University)|Oct 30, 2018

Stochastic Gradient Optimization Techniques参考文献 21被引用数 4

ひとこと要約

この論文は、ReLUニューラルネットワークの正則化損失関数が重み空間の重要な開集合上で区分的強凸性を示すことを確立し、この領域内のすべての微分可能な臨界点が局所的最小値であり、局所的最小値が孤立していることを保証する。この結果はデータの分布的仮定を必要とせず、画像分類タスクにおいて実証的に検証されており、SGDの軌道がほぼ常に区分的強凸的領域に留まっていることが示されている。

ABSTRACT

We study the loss surface of a feed-forward neural network with ReLU non-linearities, regularized with weight decay. We show that the regularized loss function is piecewise strongly convex on an important open set which contains, under some conditions, all of its global minimizers. This is used to prove that local minima of the regularized loss function in this set are isolated, and that every differentiable critical point in this set is a local minimum, partially addressing an open problem given at the Conference on Learning Theory (COLT) 2015; our result is also applied to linear neural networks to show that with weight decay regularization, there are no non-zero critical points in a norm ball obtaining training error below a given threshold. We also include an experimental section where we validate our theoretical work and show that the regularized loss function is almost always piecewise strongly convex when restricted to stochastic gradient descent trajectories for three standard image classification problems.

研究の動機と目的

• 重み減衰正則化を伴うReLUニューラルネットワークの損失関数の幾何構造を理解すること。
• COLT 2015で提起された非凸的深層学習最適化における臨界点の性質に関する未解決問題に取り組むこと。
• 局所的最小値が孤立しており、すべての微分可能な臨界点が局所的最小値であるような条件を確立すること。
• SGDの軌道が標準的な画像分類ネットワークにおいて、区分的強凸的領域にほぼ常に留まることを実証的に示すこと。
• 区分的強凸性が保証される領域を特徴づけることにより、ニューラルネットワークの設計原則を提供すること。

提案手法

• ReLU活性化パターンに基づいて、正則化損失関数のヘッセ行列を分析し、区分的強凸性を確立する。
• 原点と特定の条件下でのすべてのグローバル最小化点を含む重み空間内の開集合を同定し、その上で損失関数が区分的強凸的であることを示す。
• 部分微分と2次微分解析を用いて、この集合内におけるすべての微分可能な臨界点が局所的最小値であることを証明する。
• 線形ネットワークに重み減衰を適用したフレームワークを適用し、トレーニング誤差が所定の閾値未満のノルムボール内に非ゼロの臨界点が存在しないことを証明する。
• MNIST、CIFAR10、CIFAR100におけるSGD軌道に沿って正規化された2次微分を計算することで理論を実証的に検証する。
• 損失値と2次微分の挙動に基づいて、損失関数が区分的強凸的であるかどうかを判定する閾値基準を用いる。

実験結果

リサーチクエスチョン

• RQ1 ReLUニューラルネットワークの正則化損失関数がどのような条件下で区分的強凸的になるか？
• RQ2 区分的強凸的領域内にあるすべての微分可能な臨界点が局所的最小値であるか？
• RQ3 同じ条件下で、正則化損失関数の局所的最小値が孤立しているか？
• RQ4 実際のSGDの軌道に沿って損失関数が区分的強凸的領域に留まるか？
• RQ5 トレーニング誤差の閾値の下で、重み減衰を伴う線形ネットワークにおいて非ゼロの臨界点が存在しないことは、厳密に証明可能か？

主な発見

• 正則化損失関数は、原点を含み、特定の条件下ですべてのグローバル最小化点を含む開集合上で区分的強凸的である。
• この開集合内におけるすべての微分可能な臨界点は局所的最小値であり、局所的最小値は孤立している。
• 重み減衰を伴う線形ネットワークにおいては、トレーニング誤差が所定の閾値未満のノルムボール内に非ゼロの臨界点は存在しない。
• 実証的結果では、MNIST、CIFAR10、CIFAR100におけるSGDの軌道の95％以上が区分的強凸的領域に留まっており、正規化された2次微分が常に10以上であることが示された。
• 訓練プロセスの大部分において正規化された2次微分が大きく（しばしば10以上）維持されるため、軌道に沿って強い凸性の挙動が見られる。
• この結果はデータ分布に関する仮定を必要とせず、現実の深層学習のシナリオに広く適用可能である。