[論文レビュー] A Stochastic Coordinate Descent Primal-Dual Algorithm and Applications to Large-Scale Composite Optimization.

Pascal Bianchi, Walid Hachem+1 more|arXiv (Cornell University)|Jul 3, 2014

Stochastic Gradient Optimization Techniques参考文献 28被引用数 40

ひとこと要約

本稿では、α-平均化作用素におけるランダム化座標降下に基づくランダム化プライマル・デュアル確率的座標降下アルゴリズムを提案する。この手法により、大規模な複合最適化が効率的に行える。非同期かつブロック単位の更新を可能とし、局所的計算とメッセージ伝達を組み合わせることで、分散および確率的設定下でも高いスケーラビリティを実現し、機械学習応用において優れたスケーラビリティを示している。

ABSTRACT

Based on the idea of randomized coordinate descent of {\alpha}-averaged operators, we provide a randomized primal-dual algorithm. The algorithm builds upon a variant of a recent (deterministic) algorithm proposed by Vu and Condat. Next, we address two applications of our method. (i) In the case of stochastic approximation methods, the algorithm can be used to split a composite objective function into blocks, each of these blocks being processed sequentially by the computer. (ii) In the case of distributed optimization, we consider a set of N agents having private composite objective functions and seeking to find a consensus on the minimum of the aggregate objective. In that case, our method yields a distributed iterative algorithm where each agent use both local computations and message passing in an asynchronous manner. Numerical results demonstrate the attractive performance of the method in the framework of large scale machine learning applications.

研究の動機と目的

• 大規模な複合最適化問題におけるスケーラビリティを向上させるランダム化プライマル・デュアルアルゴリズムの開発を目的とする。
• N台のエージェント間でプライベートな目的関数を有する効率的な分散最適化を可能とし、集約最小値における一貫性を達成することを目的とする。
• 複合目的関数を順次処理可能なブロックに分割することにより、確率的近似を支援することを目的とする。
• 局所的計算とメッセージ伝達を統合した非同期的で反復的なアルゴリズムを設計し、分散環境に対応することを目的とする。
• 数値的評価を通じて、本手法の有効性を大規模な機械学習ワークロードにおいて実証することを目的とする。

提案手法

• 本アルゴリズムは、ヴゥとコンダの決定的プライマル・デュアル法の変種を基盤とし、α-平均化作用素に対するランダム化座標降下を適用することで導出される。
• 複合目的関数は、ブロックに分割され、ランダムな順序で逐次更新される。
• 分散環境では、各エージェントが局所的計算を実行し、隣接エージェントと非同期にメッセージを交換する。
• 本手法は、大規模問題に対する効率的処理を実現するため、ランダム化座標降下を活用している。
• 確率的および分散フレームワークにおいてα-平均化作用素の性質を活用することで、収束保証を維持する。
• 統一されたプライマル・デュアルフレームワークを通じて、分散コンSENSUS最適化と確率的近似の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ランダム化座標降下アプローチは、大規模な複合最適化における収束性およびスケーラビリティを向上させ得るか？
• RQ2 プライマル・デュアル法は、複数のエージェント間で非同期的かつ分散処理を可能にするようにどのように適合可能か？
• RQ3 複合目的関数のブロック単位処理は、確率的近似設定下でのパフォーマンスにどの程度寄与するか？
• RQ4 分散システムにおける局所的計算とメッセージ伝達を可能にしつつ、収束性を維持できるか？
• RQ5 既存手法と比較して、本手法は現実の大規模な機械学習ワークロードにおいてどの程度の性能を示すか？

主な発見

• 提案手法は、大規模な機械学習応用において高いパフォーマンスを達成し、優れたスケーラビリティと効率性を示している。
• 数値的結果により、本手法の有効性が確率的近似および分散最適化の両設定で確認された。
• 本手法はエージェント間での非同期更新を可能とし、分散システムにおける実用的導入を支援する。
• 複合目的関数をブロックに分割することで、計算負荷が低減され、並列処理の可能性が向上する。
• α-平均化作用素に対するランダム化座標降下の使用により、収束性が保証されつつ、1反復あたりの計算量が低く抑えられる。
• 本フレームワークは、分散コンセンサス最適化と確率的近似の両方をサポートしており、現代の最適化課題に広く適用可能である。