[論文レビュー] On the Local Minima of the Empirical Risk

Chi Jin, Lydia T. Liu+2 more|arXiv (Cornell University)|Mar 25, 2018

Stochastic Gradient Optimization Techniques被引用数 22

ひとこと要約

本稿では、サンプリングノイズによって生じる偽の局所最小値を回避するため、滑らかにした経験的リスクの上での確率的勾配降下法（SGD）アルゴリズムを提案する。理論的に、経験的リスク誤差 $\nu$ が $O(\epsilon^{1.5}/d)$ 以内に制限される限り、真の母集団リスクの $\epsilon$-近似局所最小値を探索できることを証明しており、非凸な設定下でのこのような最適化問題におけるタイトで最適な許容誤差境界を確立している。

ABSTRACT

Population risk is always of primary interest in machine learning; however, learning algorithms only have access to the empirical risk. Even for applications with nonconvex nonsmooth losses (such as modern deep networks), the population risk is generally significantly more well-behaved from an optimization point of view than the empirical risk. In particular, sampling can create many spurious local minima. We consider a general framework which aims to optimize a smooth nonconvex function $F$ (population risk) given only access to an approximation $f$ (empirical risk) that is pointwise close to $F$ (i.e., $\|F-f\|_{\infty} \le ν$). Our objective is to find the $ε$-approximate local minima of the underlying function $F$ while avoiding the shallow local minima---arising because of the tolerance $ν$---which exist only in $f$. We propose a simple algorithm based on stochastic gradient descent (SGD) on a smoothed version of $f$ that is guaranteed to achieve our goal as long as $ν\le O(ε^{1.5}/d)$. We also provide an almost matching lower bound showing that our algorithm achieves optimal error tolerance $ν$ among all algorithms making a polynomial number of queries of $f$. As a concrete example, we show that our results can be directly used to give sample complexities for learning a ReLU unit.

研究の動機と目的

• 母集団リスクの背後にあるサンプリングノイズによって生じる経験的リスクにおける偽の局所最小値の課題に対処すること。
• SGLD やシミュレーテッドアニーリングのような大規模なノイズ機構に依存せずに、浅い局所最小値を回避できるシンプルな最適化ベースのアルゴリズムを設計すること。
• 真の母集団リスクの $\epsilon$-近似局所最小値を依然として探索できるような、許容誤差 $\nu$ の最適値を特定すること。
• 最小限のノイズで非凸的かつ滑らかでない経験的リスク最小化において、偽の最小値を回避する理論的保証を確立すること。

提案手法

• 滑らかでない性質を軽減し、偽の局所最小値を減少させるために、経験的リスク関数の滑らか化版を提案する。
• この滑らかにした経験的リスクの上に確率的勾配降下法（SGD）を適用し、母集団リスクを間接的に最適化する。
• 摂動に基づく解析を用いて、高確率で経験的リスクの浅い局所最小値の近傍領域から脱出できることを示す。
• 再帰的誤差境界と行列摂動理論を用いて、反復点が真の母集団の地形から逸脱するのを制御する。
• 部分レベル集合の体積比に基づく局所化議論を導入し、偽の最小値に閉じ込められる確率を制限する。
• すべての多項式クエリアルゴリズムにおいて、$O(\epsilon^{1.5}/d)$ の許容誤差が最適であることを示す下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 SGLD やシミュレーテッドアニーリングのような大規模なノイズ注入に依存せずに、SGD といったシンプルでノイズのない最適化アルゴリズムが、経験的リスクにおける浅い局所最小値を回避できるか？
• RQ2 真の母集団リスクの $\epsilon$-近似局所最小値を依然として探索できるような、経験的リスクにおける最大の誤差 $\nu$ はどの程度か？
• RQ3 $\nu$ の $O(\epsilon^{1.5}/d)$ の許容誤差境界は最適か？それとも他のアルゴリズムがより良い許容誤差を達成できるか？
• RQ4 次元 $d$ と精度 $\epsilon$ は、サンプリングに起因する偽の最小値に対する最適化のロバストネスにどのように影響するか？
• RQ5 このフレームワークは、サンプリングを超えて、$\nu$ が敵対的摂動を表すロバスト学習やプライベート学習に応用可能か？

主な発見

• 滑らかにした経験的リスクの上での提案されたSGDベースのアルゴリズムは、高確率で真の母集団リスクの $\epsilon$-近似局所最小値を達成する。
• アルゴリズムは、経験的リスク誤差が $\nu \leq O(\epsilon^{1.5}/d)$ を満たす限り保証され、これが最適であることが示された。
• ほぼ一致する下界が確立され、すべての多項式クエリ数のアルゴリズムが $O(\epsilon^{1.5}/d)$ より大きな $\nu$ を許容することはできないことが証明された。
• 解析により、サドルポイント（または浅い局所最小値）から脱出する確率が $1 - 2\sqrt{\delta}$ 以上であることが示された。ここで $\delta$ は失敗確率を制御する。
• このフレームワークは、ReLUユニットの学習といった具体的な問題に適用可能であり、$\nu$-許容誤差とトレードオフとなる明示的なサンプル複雑度の境界を提供する。
• 結果として、大規模なノイズがなくても、滑らかさを導入したシンプルなSGDで十分に浅い局所最小値を回避可能であることが示された。