[論文レビュー] Stochastic Composite Least-Squares Regression with convergence rate O(1/n)

Nicolas Flammarion, Francis Bach|arXiv (Cornell University)|Feb 21, 2017

Economic and Environmental Valuation被引用数 4

ひとこと要約

本稿では、強い凸性を仮定しない複合最小二乗回帰に対して、定数ステップサイズを用いた確率的デュアル平均化アルゴリズムを提案し、O(1/n)の収束速度を達成する。この研究では、新たな証明手法により確率的再帰と決定的再帰を結びつけることで、任意の凸正則化子およびブレグマン幾何学への拡張が可能となる。

ABSTRACT

We consider the minimization of composite objective functions composed of the expectation of quadratic functions and an arbitrary convex function. We study the stochastic dual averaging algorithm with a constant step-size, showing that it leads to a convergence rate of O(1/n) without strong convexity assumptions. This thus extends earlier results on least-squares regression with the Euclidean geometry to (a) all convex regularizers and constraints, and (b) all geome-tries represented by a Bregman divergence. This is achieved by a new proof technique that relates stochastic and deterministic recursions.

研究の動機と目的

• 強い凸性を仮定しない複合最小二乗問題における確率的最適化のO(1/n)収束速度を確立すること。
• ユークリッド幾何学を超えて一般のブレグマン散発にまで収束保証を拡張することにより、劣化解像や構造的設定においてより良い収束を実現すること。
• 任意の凸正則化子（制約の指示関数やノルムによる正則化を含む）を扱える統一的なフレームワークの構築。
• 最適解へのマハラノビス距離に基づく非漸近的収束バウンドを提示し、ユークリッド距離に依存するものではなくすること。
• 定数ステップサイズ法が劣化解像最小二乗問題においてロバストである理由の理論的裏付けを提供すること。

提案手法

• 定数ステップサイズと平均化を用いた確率的デュアル平均化（SDA）アルゴリズムを採用し、双対空間の更新により収束を安定化させる。
• 確率的反復とその決定的類似物との関係を示す新しい証明技法を導入し、よりタイトな非漸近的バウンドを可能にする。
• ℓ(z,·)が二次関数で、gが任意の拡張値凸関数である形の問題 min_θ E_z[ℓ(z,θ)] + g(θ) に適用する。
• 潜在関数hを用いてブレグマン散発へ一般化し、ユークリッドノルムを超える幾何学的感度を持つ最適化を可能にする。
• 収束速度がD_h(θ*, θ₀)/nに比例することを導出する。ここでD_hはhに付随するブレグマン散発であり、特定の状況ではℓ₂に基づくバウンドを上回る。
• 連続時間的解釈を用いてミラー降下とデュアル平均化の等価性を明らかにし、特定の条件下での関係を解明する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズを用いた確率的デュアル平均化は、強い凸性の仮定なしに、複合最小二乗問題でO(1/n)の収束を達成できるか？
• RQ2 収束速度をユークリッド幾何学から一般のブレグマン散発へどのように拡張できるか？
• RQ3 初期距離が収束速度に与える影響は何か？ また、マハラノビス型ノルムで測定可能か？
• RQ4 なぜ平均化付き投影勾配降下法は制約付き設定で定数ステップサイズでは失敗するのか？ そしてSDAはどのようにこれを回避するか？
• RQ5 提案されたフレームワークは、連続時間的ダイナミクスを通じてミラー降下とデュアル平均化を統一できるか？

主な発見

• 定数ステップサイズを用いた確率的デュアル平均化アルゴリズムは、強い凸性を仮定しない複合最小二乗問題に対してもO(1/n)の収束速度を達成する。
• 収束速度はD_h(θ*, θ₀)/nでバウンドされ、ここでD_hは凸潜在関数hに付随するブレグマン散発である。これにより、非ユークリッド幾何学でもより速い収束が可能になる。
• この手法は、ℓ₁ノルム、制約の指示関数、その他のノルムを含む、任意の凸正則化子をデュアル平均化フレームワークを通じて処理できる。
• 証明技法により、確率的再帰と決定的再帰の間の新しい関係が確立され、従来の手法よりもタイトな非漸近的バウンドが得られる。
• Sidoデータセットにおけるシミュレーションでは、定数ステップサイズのSDAが、状態の最良の有限和手法SAGAと同等の一般化誤差を達成しており、特に正則化が小さい状況で顕著である。
• 高正則化設定ではSDAは非線形収束を示し、最終的にSAGAと一致するが、定数ステップサイズのSGDは収束しない。これにより、SDAのロバスト性が顕著に示された。