[論文レビュー] Randomized Dual Coordinate Ascent with Arbitrary Sampling

Zheng Qu, Peter Richtárik+1 more|arXiv (Cornell University)|Nov 21, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用数 50

ひとこと要約

本稿では、任意のサンプリングによる双対変数の選択を許容する大規模な凸最適化問題を解くための新規な確率的双対座標昇下法であるQuartzを提案する。本研究では、任意のサンプリング下でのSDCAに類似した手法に対する初めての収束解析を達成し、理論的スピードアップ予測が実効的性能と一致するように、効率的な逐次的、並列的、分散的バージョンの実装を可能にする。

ABSTRACT

We study the problem of minimizing the average of a large number of smooth convex functions penalized with a strongly convex regularizer. We propose and analyze a novel primal-dual method (Quartz) which at every iteration samples and updates a random subset of the dual variables, chosen according to an arbitrary distribution. In contrast to typical analysis, we directly bound the decrease of the primal-dual error (in expectation), without the need to first analyze the dual error. Depending on the choice of the sampling, we obtain efficient serial, parallel and distributed variants of the method. In the serial case, our bounds match the best known bounds for SDCA (both with uniform and importance sampling). With standard mini-batching, our bounds predict initial data-independent speedup as well as additional data-driven speedup which depends on spectral and sparsity properties of the data. We calculate theoretical speedup factors and find that they are excellent predictors of actual speedup in practice. Moreover, we illustrate that it is possible to design an efficient mini-batch importance sampling. The distributed variant of Quartz is the first distributed SDCA-like method with an analysis for non-separable data.

研究の動機と目的

• 従来のSDCA手法に見られる制限を克服するため、双対変数の任意のサンプリングをサポートする柔軟な確率的プライマル・デュアルアルゴリズムの開発。
• 中間のデュアル誤差バインディングに依存せずに、プライマル・デュアル誤差の減少を直接解析すること。
• 任意のサンプリング分布を活用することで、逐次的・並列的・分散的実装の両立を可能にすること。
• データのスパarsityおよびスペクトル的性質に基づいた理論的スピードアップ要因を導出し、実験的に検証すること。
• 既存手法（SDCA や Prox-SDCA）と同等またはそれ以上の収束速度を達成できることを示すこと。

提案手法

• 本手法であるQuartzは、任意の確率分布に従って双対変数（ブロック）のランダムサブセットを選択することで、確率的双対座標更新を実行する。
• 収束を一般のサンプリング下で保証するため、期待分離過近似（ESO）不等式を用いてステップサイズパラメータ $ v_i $ を定義する。
• プライマル更新は、SDCAと比較してやや緩いルールを採用し、双対変数の平均 $ \bar{\alpha}^{t-1} $ を用いる。更新式は $ w^t = (1-\theta)w^{t-1} + \theta \nabla g^*(\bar{\alpha}^{t-1}) $ である。
• 期待プライマル・デュアルギャップの直接的バインディングにより解析を行い、反復回数の観点から収束保証を得る。
• サンプリングタイプ（例：$\tau$-nice、インポートランスサンプリング）に基づいて、データスパarsityおよびスペクトル構造を組み込んだ理論的スピードアップ要因を導出する。
• 効率的なミニバッチインポートランスサンプリング戦略を設計・検証し、強い実効的スピードアップを示した。

実験結果

リサーチクエスチョン

• RQ1 任意のサンプリング（均一サンプリングやインポートランスサンプリングの仮定を必要としない）下で、プライマル・デュアル確率的手法を構築し、解析することは可能か？
• RQ2 サンプリング分布の選択が収束速度に与える影響は何か？ また、理論的スピードアップ要因は実際の性能向上を的確に予測できるか？
• RQ3 非分割データを扱う分散環境へ拡張可能か？ また、強い収束保証を維持できるか？
• RQ4 異なるプライマル更新ルールが収束に与える影響は何か？ また、Prox-SDCAなどの既存手法と比較してどのように異なるか？
• RQ5 データスパarsityおよびスペクトル的性質は、理論的および実効的スピードアップにどの程度影響を与えるか？

主な発見

• 本手法は、$ \max_i \left( \frac{1}{p_i} + \frac{v_i}{p_i \lambda \gamma n} \right) \log\left( \frac{P(w^0)-D(\alpha^0)}{\epsilon} \right) $ 回の反復で収束し、均一サンプリングおよびインポートランスサンプリング下でのSDCAの最良既知のバインディングと一致する。
• データスパarsityおよびスペクトル的性質に基づいて導出された理論的スピードアップ要因は、astro_ph、CCAT、webspamを含む複数のデータセットにおいて、実効的スピードアップを非常によく予測している。
• $\tau$-niceサンプリングでは、理論的スピードアップ要因は $c\tau$ の等高線に沿ってほぼ一定であり、スピードアップの対数-対数プロットにおけるほぼ直線的なパターンを説明している。
• Quartzの分散バージョンは、非分割データに対する収束解析が保証された最初のSDCAに類似した手法であり、スケーラブルな分散学習を可能にする。
• より積極的なプライマル更新を採用したQuartz-100$\theta$は、理論的枠組みに完全にはカバーされていないものの、Prox-SDCAと同等の収束速度を達成している。
• 本手法は、理論的スピードアップ予測が実験的に検証された効率的なミニバッチインポートランスサンプリングをサポートしており、スムーズ化されたヘッジ損失を用いた$L2$-正則化線形SVMに適用した。