[論文レビュー] Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization

Shai Shalev‐Shwartz, Tong Zhang|arXiv (Cornell University)|Sep 10, 2013

Stochastic Gradient Optimization Techniques被引用数 18

ひとこと要約

この論文は、機械学習における正則化損失最小化のための加速型プロキシマル確率的双対座標降下（AP-SDCA）アルゴリズムを提案する。プロキシマル更新と内部・外部反復スキームを組み合わせることで、適切に条件付けられた問題ではデータサイズにほぼ線形に近い収束速度を達成し、悪く条件付けられた問題では従来の手法よりも著しく速い収束速度を実現する。SVM、ロジスティック回帰、リッジ回帰、lasso、マルチクラスSVMの各問題に適用可能である。

ABSTRACT

We introduce a proximal version of the stochastic dual coordinate ascent method and show how to accelerate the method using an inner-outer iteration procedure. We analyze the runtime of the framework and obtain rates that improve state-of-the-art results for various key machine learning optimization problems including SVM, logistic regression, ridge regression, Lasso, and multiclass SVM. Experiments validate our theoretical findings.

研究の動機と目的

• 大規模な機械学習における正則化損失最小化のためのより高速な最適化アルゴリズムの必要性に対応する。
• 確率的双対座標降下（SDCA）フレームワークを一般の強い凸正則化子と滑らかなベクトル値損失関数に対応させる。
• SGD や AGD よりも高速な収束を達成する加速版を構築する。
• 問題の条件数、データサイズ、精度に明示的な依存関係を持つ理論的実行時間保証を提供する。
• L2正則化と滑らか化技術を用いて、非滑らか正則化子（例：L1）への応用を可能にする。

提案手法

• 二乗ノルムを超える一般の強い凸正則化子を扱えるように、確率的双対座標降下（SDCA）のプロキシマル版を導入する。
• 外部ループが双対変数を維持し、内部ループがプロキシマル更新を実行する内部・外部反復手順を用いて収束を加速する。
• 強い凸性と滑らかさの仮定を活用し、双対目的関数の期待される最適性の欠如（sub-optimality）を用いて双対ギャップ解析を確立する。
• マルコフの不等式と和集合の不等式を適用し、信頼度パラメータδにおける高確率収束保証を導出する。
• 非滑らか損失関数（例：SVMにおけるハッジ損失）に対して滑らか化技術を適用し、εおよびλの観点からより良い実行時間を達成する。
• 双対最適性の低下率を分析することで実行時間の上限を導出し、適切な条件下で幾何的収束が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 SDCAフレームワークは、L1など非滑らかなものも含む一般の強い凸正則化子に対応できるか？
• RQ2 問題の条件数が大きい場合、正則化損失最小化の最適収束速度は何か？
• RQ3 滑らかでない損失関数に対しても、双対座標降下フレームワーク内でどのようにして加速を達成できるか？
• RQ4 適切に条件付けられた問題では、データサイズにほぼ線形の時間計算量を達成できるか？
• RQ5 双対空間における確率的サンプリングと平均化を用いる場合、収束速度と精度のトレードオフは何か？

主な発見

• 滑らかで強い凸問題に対して、提案されたAP-SDCAアルゴリズムは Õ(d(n + min{1/(λγ), √(n/(λγ))})) の実行時間を達成し、SGD や AGD よりも向上する。
• ハッジ損失を伴うSVMに対しては、Õ(d(n + min{1/(λε), √(n/(λε))})) の実行時間が達成され、1/(λε) ≫ n の場合にSGDのO(d/(λε))よりも顕著に高速化される。
• L1正則化を伴うlassoに対しては、Õ(d(n + min{1/(εγ), √(n/(εγ))})) の実行時間が達成され、高次元設定ではSGD や FISTA よりも向上する。
• 条件数がO(n)のとき、ほぼ線形時間計算量 Õ(dn) を達成し、最新の結果と一致する。
• 悪く条件付けられた問題（条件数 ≫ n）に対しては、実行時間が Õ(d√(n/(λγ))) に減少し、AGDの Õ(dn√(1/(λγ))) よりも著しく高速である。
• 信頼度1−δにおける高確率収束保証が、マーティンの不等式と複数ラウンドにわたる反復的精錬を用いて確立された。