[論文レビュー] SDCA without Duality, Regularization, and Individual Convexity

Shai Shalev‐Shwartz|arXiv (Cornell University)|Feb 4, 2016

Stochastic Gradient Optimization Techniques参考文献 21被引用数 35

ひとこと要約

本稿では、正則化や双対性に依存しないStochastic Dual Coordinate Ascent (SDCA)のデュアルフリーな変種を導入し、期待損失が強く凸である限り、凸および非凸な個々の損失関数に対しても線形収束を達成できる。この手法は、凸損失に対して$ otimes ilde{O}(\bar{L}/\lambda + n)$、非凸損失に対して$ otimes ilde{O}(n^{3/4}\sqrt{\bar{L}/\lambda} + n)$の収束レートを達成し、双対性や正則化を必要としない既知の境界と同等またはそれを上回る。

ABSTRACT

Stochastic Dual Coordinate Ascent is a popular method for solving regularized loss minimization for the case of convex losses. We describe variants of SDCA that do not require explicit regularization and do not rely on duality. We prove linear convergence rates even if individual loss functions are non-convex, as long as the expected loss is strongly convex.

研究の動機と目的

• 双対性や明示的な正則化に依存しないSDCAの変種を開発すること。
• 期待損失が強く凸である限り、非凸な個々の損失関数に対してもSDCAを拡張し、収束保証を維持すること。
• 期待損失の強い凸性と個々の関数の滑らかさの下で、線形収束レートを達成すること。
• 既存の境界を改善し、$L_{\max}$を$\bar{L}$に置き換え、非凸設定における$n$依存性を低減すること。

提案手法

• 双対変数や双対性に基づく更新を排除する、勾配のみを用いたプライマルベースのSDCA変種を提案。
• 探索と収束のバランスを取るために、サンプリング分布$q_i = (L_i + \bar{L}) / (2n\bar{L})$を導入。
• 分散が減少する不偏勾配推定に基づくプライマル更新ルールを採用し、SGDに類似したが分散低減を施したもの。
• 収束解析に、Lyapunov関数$C_t = \|w^{(t)} - w^*\|^2 + \sum_i \|\alpha_i^{(t)} - \alpha_i^*\|^2 / (\lambda n)$を用いる。
• 滑らかさと強い凸性の仮定に基づき、凸成分における勾配の自己有界性を用いて収束境界を導出。
• 加速技術を適用し、非凸の収束レートを$\tilde{O}(L_{\max}^2/\lambda^2 + n)$から$\tilde{O}(n^{3/4}\sqrt{\bar{L}/\lambda} + n)$に改善。

実験結果

リサーチクエスチョン

• RQ1 双対性や明示的な正則化に依存しないまま、SDCAを再定式化でき、収束保証を維持できるか？
• RQ2 個々の損失関数が非凸であっても、期待損失が強く凸であれば、線形収束は依然として成立するか？
• RQ3 収束境界において$\bar{L}$（平均滑らかさ）に$L_{\max}$を置き換えることで、レートを改善できるか？
• RQ4 加速された非凸ケースにおける$n^{3/4}$依存性は必要不可欠か？それとも$n^{1/2}$にまで低減可能か？
• RQ5 正則化された場合と同様の収束レートを、非正則化の目的関数に対しても達成できるか？

主な発見

• デュアルフリーSDCA変種は、凸な個々の損失関数に対して$ otimes ilde{O}(\bar{L}/\lambda + n)$の収束レートを達成し、SVRGの最良既知のレートと一致する。
• 非凸な個々の損失関数に対しては、加速なしで$ otimes ilde{O}(\bar{L}^2/\lambda^2 + n)$の収束を達成する。
• 加速を施すと、収束レートは$ otimes ilde{O}(n^{3/4}\sqrt{\bar{L}/\lambda} + n)$に改善され、従来の非加速境界よりも条件数依存性が優れていることが示された。
• 明示的な正則化や双対性の必要性が排除され、非正則化および非凸問題への応用が可能になった。
• 解析により、収束を保証するためにはステップサイズが$\eta \leq \min\{\lambda/(4\bar{L}^2), 1/(4\lambda n)\}$を満たす必要があることが判明した。
• 非凸ケースの改善された境界は、Ohad Shamirの洞察に基づき、従来の$n^{5/4}$項が$n^{3/4}$にまで低減された。