[論文レビュー] Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization

Navid Azizan, Babak Hassibi|arXiv (Cornell University)|Jun 4, 2018

Sparse and Compressive Sensing Techniques参考文献 39被引用数 14

ひとこと要約

この論文は、確率的ミラー降下法（SMD）の根本的恒等式を確立し、小さなステップサイズの下でミニマックス最適性を示し、非線形モデルや損失関数へ一般化する。SMDは過パラメータ化された線形モデルで収束し、暗黙の正則化を誘発することを示し、深層学習におけるSGDの一般化性能が、明示的な正則化なしに優れている理由を理論的に解明する。

ABSTRACT

Stochastic descent methods (of the gradient and mirror varieties) have become increasingly popular in optimization. In fact, it is now widely recognized that the success of deep learning is not only due to the special deep architecture of the models, but also due to the behavior of the stochastic descent methods used, which play a key role in reaching "good" solutions that generalize well to unseen data. In an attempt to shed some light on why this is the case, we revisit some minimax properties of stochastic gradient descent (SGD) for the square loss of linear models---originally developed in the 1990's---and extend them to general stochastic mirror descent (SMD) algorithms for general loss functions and nonlinear models. In particular, we show that there is a fundamental identity which holds for SMD (and SGD) under very general conditions, and which implies the minimax optimality of SMD (and SGD) for sufficiently small step size, and for a general class of loss functions and general nonlinear models. We further show that this identity can be used to naturally establish other properties of SMD (and SGD), namely convergence and implicit regularization for over-parameterized linear models (in what is now being called the "interpolating regime"), some of which have been shown in certain cases in prior literature. We also argue how this identity can be used in the so-called "highly over-parameterized" nonlinear setting (where the number of parameters far exceeds the number of data points) to provide insights into why SMD (and SGD) may have similar convergence and implicit regularization properties for deep learning.

研究の動機と目的

• 確率的勾配降下法（SGD）と確率的ミラー降下法（SMD）が、明示的な正則化なしに深層学習でなぜ一般化性能が優れているかを説明すること。
• 1990年代のSGDに関する古典的なミニマックス結果を、線形モデルに限らず一般の非線形モデルと損失関数へ拡張すること。
• SMDにおける根本的恒等式を用いて、過パラメータ化設定における収束性と暗黙の正則化の理論的基盤を確立すること。
• 深層ニューラルネットワークなどの高々過パラメータ化された非線形モデルにおけるSMD/SGDの挙動に関する洞察を提供すること。

提案手法

• SMDの根本的恒等式を導出し、アルゴリズムの反復がミニマックスフィルタリング問題と関連することを示し、$H^\infty$フィルタリング理論を一般化する。
• この恒等式を用いて、ステップサイズが十分に小さい場合のSMDのミニマックス最適性を証明する。
• この恒等式を応用して、解の多様体$\mathcal{W}$の次元が$m-n$である過パラメータ化された線形モデルにおける収束性と暗黙の正則化を示す。
• 特に$m \gg n$の場合、任意のランダムな初期重み$w_0$は一般に$O(\sqrt{n/m})$の距離内で解の多様体$\mathcal{W}$に近くなるため、正則化された解への収束が可能になることを示す。
• ステップサイズを時変化させる場合にも、恒等式およびミニマックス定式化を適切に修正することで、結果を拡張する。
• Bregman損失の局所的非負性および弱い依存性を用いて、解の多様体の近傍における非線形モデルへの収束性および正則化の一般化を達成する。

実験結果

リサーチクエスチョン

• RQ1 なぜ過パラメータ化されたモデルにおいて、明示的な正則化なしに確率的ミラー降下法（SMD）が一般化性能の良い解へ収束するのか？
• RQ2 SMDのミニマックス最適性は、線形モデルや二乗損失を超えて、非線形モデルや一般損失関数へ一般化可能か？
• RQ3 過パラメータ化された線形設定におけるSMDの暗黙の正則化はどのように生じるのか？ また、収束性とはどのような関係にあるか？
• RQ4 深層学習におけるSGDと他の最適化アルゴリズムとの間で、一般化性能の差異はどのように説明されるか？
• RQ5 線形モデルにおけるSMDの理論的性質は、深層ニューラルネットワークのような高々過パラメータ化された非線形モデルへどの程度まで拡張可能か？

主な発見

• SMDは、一般の条件下（非線形モデルや一般損失関数を含む）で、十分に小さなステップサイズの下でミニマックス最適性を達成する。
• 初期重み$w_0$が$w_*$（暗黙の正則化された解）から$\epsilon$以内にある場合、SMDは解$w_\infty$に$o(\epsilon)$の距離で収束する。
• 過パラメータ化された線形ケース（$m \gg n$）では、任意のランダムな初期重み$w_0$は一般に$O(\sqrt{n/m})$の距離内で解の多様体$\mathcal{W}$に近くなるため、正則化された解への収束が可能になる。
• 線形ケースにおける暗黙の正則化は、Bregman損失の構造とアルゴリズムのミニマックス定式化から自然に生じるものであり、明示的な制約を必要としない。
• 時間変動するステップサイズに対しても理論は拡張可能で、ポテンシャル関数から損失を引いた関数が凸である限り、ミニマックス最適性と収束性が保たれる。
• この枠組みは、高々過パラメータ化された非線形モデルにおける暗黙の正則化のヒューリスティックな説明を提供する：ランダム初期化により$w_0$が解の多様体に近づき、SMDは暗黙の正則化子$w_*$に近い解へ収束する。