[論文レビュー] Accelerated, Parallel and Proximal Coordinate Descent

Olivier Fercoq, Peter Richtárik|arXiv (Cornell University)|Dec 20, 2013

Sparse and Compressive Sensing Techniques参考文献 13被引用数 44

ひとこと要約

この論文は、同時に加速、並列処理、プロキシマル更新を備えた最初の確率的座標降下法である APPROX を導入し、O(1/k²) の収束速度を達成した。期待分離上界（ESO）に基づく新しい安全な大きなステップサイズを用いることで、全ベクトル演算を回避しつつ、スパース構造を有する大規模凸最適化問題における性能を著しく向上させた。

ABSTRACT

We propose a new stochastic coordinate descent method for minimizing the sum of convex functions each of which depends on a small number of coordinates only. Our method (APPROX) is simultaneously Accelerated, Parallel and PROXimal; this is the first time such a method is proposed. In the special case when the number of processors is equal to the number of coordinates, the method converges at the rate $2\barω\bar{L} R^2/(k+1)^2 $, where $k$ is the iteration counter, $\barω$ is an average degree of separability of the loss function, $\bar{L}$ is the average of Lipschitz constants associated with the coordinates and individual functions in the sum, and $R$ is the distance of the initial point from the minimizer. We show that the method can be implemented without the need to perform full-dimensional vector operations, which is the major bottleneck of existing accelerated coordinate descent methods. The fact that the method depends on the average degree of separability, and not on the maximum degree of separability, can be attributed to the use of new safe large stepsizes, leading to improved expected separable overapproximation (ESO). These are of independent interest and can be utilized in all existing parallel stochastic coordinate descent algorithms based on the concept of ESO.

研究の動機と目的

• 大規模凸最適化に適した、同時に加速、並列処理、プロキシマル更新を組み合わせた座標降下法の開発。
• 現行手法がこれらの3つの特徴のうち1つ以上を欠いていること、特に並列設定における加速プロキシマル手法の不在という限界を解決すること。
• 最大次数ではなく平均分離度を用いることで、従来の手法よりもはるかに大きく安全なステップサイズの設計。
• 全次元ベクトル演算の必要性を排除し、加速手法における主要なボトル neck を解消すること。
• kddb やマルウェア URL データセットなどの実世界データセットにおいて、非加速または非並列手法と比較して優れた収束速度とスケーラビリティを示すこと。

提案手法

• Nesterov 方式の加速をブロック分離正則化子のプロキシマル作用素と組み合わせた、確率的座標降下アルゴリズムである APPROX を提案。
• 平均分離度（ω̄）に基づき、最大次数（ω）ではなく、より大きな安全なステップサイズを可能にする、新しい期待分離上界（ESO）フレームワークを導入。
• 補助変数（x, y, u, z）を用いた3段階更新スキームを設計し、全ベクトル演算を伴わずにモーメンタム更新とプロキシマルステップを実現。
• 収束速度と計算コストのバランスを取るために、非一様確率を用いたブロックの確率的選択戦略を採用。
• スパarsity と分離性を活用することで、全ベクトル演算を回避し、大規模問題へのスケーラビリティを実現。
• 収束を保証しながら1イテレーションあたりの進捗を最大化するため、ラインサーチに類似したステップサイズ選択戦略を採用。

実験結果

リサーチクエスチョン

• RQ1 O(1/k²) 収束を達成する、同時に加速・並列処理・プロキシマル更新を備えた座標降下法を設計できるか？
• RQ2 最大ケースバウンドではなく平均上界を用いることで、従来の並列手法よりもはるかに大きなステップサイズを導出できるか？
• RQ3 全ベクトル演算を伴わない加速手法の実装は可能か？ これにより大規模問題におけるスケーラビリティが向上するか？
• RQ4 実世界のスパースデータセットにおいて、非加速または非並列手法と比較して、提案手法は実際の収束速度とスケーラビリティに優れているか？
• RQ5 最大分離度（ω）ではなく平均分離度（ω̄）を用いることで、実際の収束が理論的にも速くなるか？

主な発見

• APPROX は、強い凸でない場合でも、加速手法で達成可能な最良のレートと同等の O(1/k²) 収束速度を達成した。
• kddb データセットでは、初期段階を除き、1イテレーションあたりのコストが低い PCDM に対しても、後続段階で収束が著しく速く、APPROX が上回った。
• マルウェア URL データセットでは、APPROX は SDCA と比較して双対ギャップの減少を約2倍速く達成し、収束時間で2倍の高速化を達成した。
• 収束レートは 2ω̄L̄R²/(k+1)² であり、ω̄ は平均分離度、L̄ は平均リプシッツ定数、R は最小値への初期距離を表す。
• 提案された ESO ベースのステップサイズは、ω̄ ≪ ω の場合に特に顕著に大きな安全なステップサイズを可能にし、収束を速めた。
• 全ベクトル演算を回避したため、全ベクトル演算が主なボトル neck となるスパース大規模問題において、極めて効率的であることが示された。