[論文レビュー] Faster Coordinate Descent via Adaptive Importance Sampling

Dmytro Perekrestenko, Volkan Cevher+1 more|arXiv (Cornell University)|Mar 7, 2017

Stochastic Gradient Optimization Techniques被引用数 13

ひとこと要約

本稿は、凸最適化における座標降下法のための適応的 Importance Sampling ルールを導入し、双対残差および原双対ギャップ推定値を用いて選択確率を動的に調整する。一般凸設定における適応的サンプリングの収束速度解析を初めて提供し、Lasso やヒンジ損失 SVM において、一様分布および固定非一様分布のサンプリングと比較して実際の収束が速いことを示している。

ABSTRACT

Coordinate descent methods employ random partial updates of decision variables in order to solve huge-scale convex optimization problems. In this work, we introduce new adaptive rules for the random selection of their updates. By adaptive, we mean that our selection rules are based on the dual residual or the primal-dual gap estimates and can change at each iteration. We theoretically characterize the performance of our selection rules and demonstrate improvements over the state-of-the-art, and extend our theory and algorithms to general convex objectives. Numerical evidence with hinge-loss support vector machines and Lasso confirm that the practice follows the theory.

研究の動機と目的

• 反復中にサンプリング確率を適応的に調整することで、大規模凸最適化の座標降下法の収束速度を向上させること。
• 時間経過とともに変化する双対残差および原双対ギャップ推定値に基づくサンプリングルールを考案すること。
• 非強い凸正則化子を伴う一般凸問題における適応的サンプリングの収束速度解析を初めて提供すること。
• Lasso、SVM、ロジスティック回帰を含む広範な問題クラスに理論的結果を拡張すること。
• rcv1 などの実世界のデータセットを用いて、実験的に手法を検証し、顕著な性能向上を示すこと。

提案手法

• 原双対フレームワークを用いて、双対ギャップおよび双対残差を適応的サンプリングの指標として定義する。
• 双対残差が大きい座標を優先するように、動的確率分布を導入する。
• 各反復で現在の双対残差の大きさに基づいて、選択確率を更新する動的サンプリング戦略を採用する。
• 標準的な SDCA テンプレート min_α f(Aα) + Σg_i(α_i) に適用する。f は滑らかで、g_i は一般凸関数である。
• 任意のサンプリング分布に対して、強い凸および一般凸の場合の収束保証を導出する。
• 四つの変種（ada-uniform, ada-gap, supportSet-uniform, adaptive）を実装し、確率の計算方法が異なる。

実験結果

リサーチクエスチョン

• RQ1 双対残差または双対ギャップに基づく適応的サンプリングは、一般凸問題における座標降下法の収束を改善できるか？
• RQ2 反復に依存する適応的サンプリングルールを用いた座標降下法の理論的収束速度は何か？
• RQ3 実際の応用において、固定非一様分布および一様分布のサンプリングと比較して、適応的サンプリングルールはどのように性能を発揮するか？
• RQ4 提案手法は、SVM や Lasso を超える広範な機械学習問題に一般化可能か？
• RQ5 適応的確率の計算に伴う計算オーバーヘッドは何か？その性能向上を補填するに値するか？

主な発見

• 提案された適応的サンプリングルールは、理論的および実験的両面で、一様分布および固定非一様分布のサンプリングを上回る収束速度を達成する。
• 非強い凸正則化子を伴う一般凸問題における適応的座標降下法の収束速度解析を、本稿で初めて提供する。
• rcv1 データセットにおける数値実験では、Lasso および SVM において双対ギャップと部分最適性の低下が顕著に改善された。
• ada-gap および ada-uniform 変種は、標準的な SDCA および固定サンプリングベースラインを上回る収束速度を示した。
• 適応的サンプリング戦略は、双対ギャップに最も寄与する座標に更新を集中させることで、収束を加速することが有効に機能した。
• 理論的解析により、固定非一様および一様サンプリングの既存結果が特別な場合として回復された。