[論文レビュー] Generalization Properties and Implicit Regularization for Multiple Passes SGM

Junhong Lin, Raffaello Camoriano+1 more|arXiv (Cornell University)|May 26, 2016

Stochastic Gradient Optimization Techniques参考文献 20被引用数 5

ひとこと要約

本稿は、線形パラメータ化モデルを用いた凸損失関数に対する複数回走査の確率的勾配法（SGM）の一般化特性を分析する。ステップサイズと走査回数の両方が、明示的な罰則なしにバイアス・バリアンストレードオフを制御する暗黙的正則化パrameterとして機能することを示し、近似誤差の仮定の下で最適な収束速度を導出し、実データセットを用いた数値実験で検証する。

ABSTRACT

We study the generalization properties of stochastic gradient methods for learning with convex loss functions and linearly parameterized functions. We show that, in the absence of penalizations or constraints, the stability and approximation properties of the algorithm can be controlled by tuning either the step-size or the number of passes over the data. In this view, these parameters can be seen to control a form of implicit regularization. Numerical results complement the theoretical findings.

研究の動機と目的

• 明示的な正則化が存在しない状況における、複数回走査の確率的勾配法（SGM）の一般化行動を理論的に理解すること。
• ステップサイズとデータに対する走査回数が、凸損失関数に対するSGMにおいてどのように暗黙的正則化機構として機能するかを調査すること。
• 近似誤差の仮定の下でSGMの最適収束速度を確立することにより、最小二乗法から一般の凸損失関数への先行研究の拡張を行うこと。
• 実際の応用で一般的なヒューリスティック（例：早期停止、ステップサイズの調整）の理論的基盤を提供すること。
• 実世界のデータセットを用いた数値実験により、理論的発見を検証すること。

提案手法

• 線形パラメータ化関数と凸損失関数を用いた非パラメトリック設定におけるSGMの分析。
• 安定性に基づくアプローチを用いて一般化バウンドを導出し、アルゴリズムの安定性とバイアス・バリアンストレードオフの関係を明らかにする。
• 近似誤差の仮定の下で収束速度を導出し、真の関数の滑らかさによってパrameter化する。
• 2つのアルゴリズム変種を導入：1つは調整されたステップサイズを用い、もう1つは固定ステップサイズと早期停止（最適な走査回数）を用いる。
• 確率的最適化と安定性理論の結果を応用して、期待超過リスクのバウンドを導出する。
• 実データセットを用いた数値実験により理論的発見を検証し、ステップサイズと走査回数の異なる設定を比較する。

実験結果

リサーチクエスチョン

• RQ1 明示的な正則化が存在しない状況で、ステップサイズと走査回数はSGMの一般化性能にどのように影響するか？
• RQ2 SGMにおけるバイアス・バリアンストレードオフは、ステップサイズまたは走査回数の調整によって制御可能か？その場合の収束速度は何か？
• RQ3 近似誤差は、SGMにおける最適なステップサイズと走査回数の選定にどのような役割を果たすか？
• RQ4 同じ仮定のもとで、1回走査と複数回走査のSGM変種における理論的収束速度はどのように比較されるか？
• RQ5 数値実験は、SGMにおける暗黙的正則化に関する理論的予測をどの程度確認しているか？

主な発見

• SGMにおけるステップサイズと走査回数は、明示的な罰則なしにバイアス・バリアンストレードオフを制御する暗黙的正則化パrameterとして機能する。
• 複数回走査SGMでは、固定ステップサイズと早期停止（最適な走査回数）を用いることで、1回走査SGMにおける調整されたステップサイズと同等の最適収束速度が達成される。
• 理論的バウンドから、固定ステップサイズと早期停止の下で期待超過リスクがO(1/√m)の速度で減少することが示され、対数因子は走査回数に依存する。
• 収束速度は真の関数の滑らかさに依存し、β ∈ (0,1]でパrameter化される。滑らかさが高くなるほど収束速度が速くなる。
• 実データセットを用いた数値実験により、ステップサイズの調整と早期停止の両方が同等の一般化性能を達成することが確認され、理論的トレードオフが裏付けられる。
• 本分析により、最小二乗法から一般の凸損失関数への先行研究の拡張がなされ、実用的なSGMにおけるより広範な理論的基盤が提供される。