[論文レビュー] Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization

Roy Frostig, Rong Ge+2 more|arXiv (Cornell University)|Jun 24, 2015

Sparse and Compressive Sensing Techniques参考文献 17被引用数 68

ひとこと要約

本稿では、強い強凸性を持つ正則化された部分問題に元の問題を還元することで、経験的リスク最小化（ERM）のための確率的アルゴリズムの高速化を図る、新しいフレームワークを提案する。近似射影点法を用いることで、元の問題を大規模な正則化を伴う部分問題に変換し、高速な確率的ソルバーをこれらの部分問題に適用することで、通常の正則化によって生じるバイアスを回避しつつ、加速された収束速度を達成する。ブラックボックス還元を活用することで、さまざまな問題設定において、実行時間の顕著な短縮が実現される。

ABSTRACT

We develop a family of accelerated stochastic algorithms that minimize sums of convex functions. Our algorithms improve upon the fastest running time for empirical risk minimization (ERM), and in particular linear least-squares regression, across a wide range of problem settings. To achieve this, we establish a framework based on the classical proximal point algorithm. Namely, we provide several algorithms that reduce the minimization of a strongly convex function to approximate minimizations of regularizations of the function. Using these results, we accelerate recent fast stochastic algorithms in a black-box fashion. Empirically, we demonstrate that the resulting algorithms exhibit notions of stability that are advantageous in practice. Both in theory and in practice, the provided algorithms reap the computational benefits of adding a large strongly convex regularization term, without incurring a corresponding bias to the original problem.

研究の動機と目的

• 既存の確率的アルゴリズムが条件数に依存するための非最適な収束速度を是正すること。
• 小さな正則化でERMを解くアルゴリズム（加速のため）と、正則化なしでERMを解くアルゴリズム（バイアスのない解のため）の間のギャップを埋めること。
• 正則化なしのERMに加速を実現するブラックボックス還元を構築し、大規模な正則化を伴う部分問題のみを解くことで実現すること。
• 理論的実行時間の保証と、高次元かつ条件数の悪い問題における実用的安定性の両方を向上させること。

提案手法

• 古典的な射影点法（PPA）の近似版を用い、強い強凸性を持つ正則化された部分問題を繰り返し解くことで、元の目的関数を逐次的に最小化する。
• μ-強い凸性を持つ関数fの最小化を、f(x) + (λ/2)‖x−x₀‖²の近似最小化に還元する。ここでλ ≥ 2μである。
• 内部最小化手順の必要精度について理論的境界を提供し、外側のループが条件数の多対数的オーバーヘッドで線形収束することを保証する。
• 高速な確率的ソルバー（例：SVRG、SDCA）を内部最小化子として用い、反復ごとに射影項を再中心化する新しい外側ループを組み合わせることで、加速を実現する。
• 部分問題における正則化を大きくすることで、数値的安定性と収束速度を向上させつつ、元の解へのバイアスを著しく増加させない。
• 内部最小化子が双対性を用いて実装される場合、双対昇下法を用いることで、実用的性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 明示的な正則化によるバイアスを負担せずに、正則化なしのERMに対して加速された収束を達成できるか？
• RQ2 確率的ERMアルゴリズムの問題の条件数への依存をどのように低減できるか？
• RQ3 外側ループの線形収束を保証するためには、内部最小化でどの程度の近似精度が必要か？
• RQ4 部分問題に大規模な正則化を適用することで、収束の安定性と速度を向上させつつ、元の問題の正確な解を回復できるか？
• RQ5 SGD、SVRG、SDCAといった標準的手法と比較して、提案フレームワークは実用的安定性と収束速度の面でどのように差をつけるか？

主な発見

• 提案された加速された近似射影点法（APP）は、元のERM問題に対してO(1/c)の収束速度を達成し、正則化された部分問題を解く時間と比較して、O(√(⌈λ/μ⌉)polylog(λ/μ))の実行時間オーバーヘッドを有する。
• 強い凸性と滑らかさの仮定の下で、ERMに対する加速を実現し、従来のアルゴリズムが条件数に非最適な依存を示すか、小さな正則化を必要とする問題を改善する。
• 実験結果から、Dual APPA（提案アルゴリズム）は、MNIST、CIFAR、Proteinといったさまざまなデータセットにおいて、特にハイパーパrameterの選択が不適切な場合でも、優れた安定性と収束特性を示す。
• SDCAとAPPはλの増加に対してより滑らかに劣化するが、SGDとSVRGはλが過大評価されると急激に発散する。
• SDCAを収束まで走らせた場合でさえ、APPが達成する最終的な目的関数値は常に低く抑えられており、射影項の再中心化が解の品質を向上させることを示している。
• 線形最小二乗問題やロジスティック回帰を含む広範な問題設定において、部分問題における大規模な正則化を効果的に活用することで、最先端の手法を上回る収束速度を達成している。