[論文レビュー] SDCA without Duality

Shai Shalev‐Shwartz|arXiv (Cornell University)|Feb 22, 2015

Stochastic Gradient Optimization Techniques参考文献 9被引用数 35

ひとこと要約

本稿では、平均損失が凸である限り、凸および非凸な個々の損失関数に対し線形収束を達成する、Stochastic Dual Coordinate Ascent (SDCA) のデュアルフリーな変種を提示する。勾配を直接用い、双対性を避けることで、より単純なプライマルベースの解析を維持し、収束保証を保ったまま、SDCAの適用範囲を非凸問題、たとえばディープラーニングにまで拡張する。滑らかさと凸性の条件下で、線形収束レートを維持する。

ABSTRACT

Stochastic Dual Coordinate Ascent is a popular method for solving regularized loss minimization for the case of convex losses. In this paper we show how a variant of SDCA can be applied for non-convex losses. We prove linear convergence rate even if individual loss functions are non-convex as long as the expected loss is convex.

研究の動機と目的

• 個々の損失関数が非凸であっても、双対定式化が不適切となる状況においてSDCAを拡張すること。
• 双対性に依存せず、収束保証を維持する、デュアルフリーで直接的なSDCAの解析を提供すること。
• 滑らかさと平均凸性の仮定の下で、凸および非凸の両ケースにおける線形収束レートを確立すること。
• SDCAが収束に近づく際に勾配分散が減少する分散低減型SGDの一種として解釈できることを示すこと。

提案手法

• 個々の損失関数 φ_i の勾配を直接用い、プライマル・デュアルベクトル α_i を維持するデュアルフリーなSDCAの変種を提案する。
• 安定性と収束を保証するため、β = ηλn < 1 を満たすステップサイズ η を使用する。
• 更新則を導出：α_i^{(t)} = (1−β)α_i^{(t−1)} + β(−∇φ_i(w^{(t−1)})) で、古いデュアルベクトルと負の勾配を組み合わせる。
• プライマル変数 w^{(t)} を w^{(t)} = w^{(t−1)} − η(∇φ_i(w^{(t−1)}) + α_i^{(t−1)}) で維持し、プライマル・デュアル関係 w^{(t−1)} = (1/λn)∑α_i^{(t−1)} を保証する。
• この手法を、収束に近づくと分散が減少する分散低減型SGDとして解析する。
• 部分最適性をバインドし、期待誤差の再帰的減衰を証明するために、潜在関数 C_t または D_t を導入する。

実験結果

リサーチクエスチョン

• RQ1 双対性に依存せずに、非凸な個々の損失関数にSDCAを拡張できるか？
• RQ2 平均損失が凸である非凸な φ_i に対して、どのような収束レートが達成可能か？
• RQ3 分散低減性と収束速度の観点から、デュアルフリーSDCAは通常のSGDとどのように比較できるか？
• RQ4 より単純な双対性を避ける証明は、凸損失に対して元のSDCAと同等の収束レートを達成できるか？

主な発見

• L-スムーズかつ凸な φ_i に対して、本手法は Õ((L/λ + n) log(1/ε)) の線形収束レートを達成し、元のSDCAと同等の性能を示すが、双対性を用いない証明を採用する。
• 平均損失が凸である非凸な φ_i に対しては、収束レートが Õ((L²/λ² + n) log(1/ε)) となり、L/λ に依存する項が悪化する。
• アルゴリズムが収束に近づくと、勾配推定の分散がゼロに近づく分散低減型SGDの一種であることが示された。
• デュアルフリーな解析により、双対性を避け、凸ケースにおいてはより単純な証明が可能であり、同時に先行研究と同等の収束レートを達成する。
• 潜在関数の解析により、期待部分最適性がレート ηλ で指数的に減少することが示され、線形収束が保証される。
• 本手法は、双対問題が通常不適切となるディープラーニングのような非凸問題にも適用可能である。