[論文レビュー] Faster Parallel Solver for Positive Linear Programs via Dynamically-Bucketed Selective Coordinate Descent

Di Wang, Michael W. Mahoney+2 more|arXiv (Cornell University)|Nov 20, 2015

Stochastic Gradient Optimization Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、動的バケツ化選択的座標降下法（DB-SCD）を用いた、正の線形計画問題を解くための新規並列アルゴリズムを提案する。この手法により、パッケージングおよびカービングLPの両方において収束時間のオーダーが Õ(1/ε²) に改善された。勾配の大きさが類似した座標をグループ化し、それらを効率的に更新することで、干渉を低減し、従来の Õ(1/ε³) の依存関係を持つ手法と比較して、より高速かつ安定した収束を実現する。

ABSTRACT

We provide improved parallel approximation algorithms for the important class of packing and covering linear programs. In particular, we present new parallel $ε$-approximate packing and covering solvers which run in $ ilde{O}(1/ε^2)$ expected time, i.e., in expectation they take $ ilde{O}(1/ε^2)$ iterations and they do $ ilde{O}(N/ε^2)$ total work, where $N$ is the size of the constraint matrix and $ε$ is the error parameter, and where the $ ilde{O}$ hides logarithmic factors. To achieve our improvement, we introduce an algorithmic technique of broader interest: dynamically-bucketed selective coordinate descent (DB-SCD). At each step of the iterative optimization algorithm, the DB-SCD method dynamically buckets the coordinates of the gradient into those of roughly equal magnitude, and it updates all the coordinates in one of the buckets. This dynamically-bucketed updating permits us to take steps along several coordinates with similar-sized gradients, thereby permitting more appropriate step sizes at each step of the algorithm. In particular, this technique allows us to use in a straightforward manner the recent analysis from the breakthrough results of Allen-Zhu and Orecchia [2] to achieve our still-further improved bounds. More generally, this method addresses "interference" among coordinates, by which we mean the impact of the update of one coordinate on the gradients of other coordinates. Such interference is a core issue in parallelizing optimization routines that rely on smoothness properties. Since our DB-SCD method reduces interference via updating a selective subset of variables at each iteration, we expect it may also have more general applicability in optimization.

研究の動機と目的

• 正の線形計画問題、特にパッケージングおよびカービングLPのための、より高速な並列近似アルゴリズムの開発。
• 総作業量および反復回数の両方において、誤差パラメータ ε に対する依存関係を従来の Õ(1/ε³) から Õ(1/ε²) に低減すること。
• 非滑らかな問題における1次最適化の並列更新において、座標間の干渉を軽減するため、勾配の大きさが類似した変数のグループを効果的に選択的に更新する手法の開発。
• 動的勾配バケツ化と1次最適化技術を活用することで、大規模なLP問題に対する効率的かつスケーラブルな解法を実現すること。

提案手法

• 各反復において勾配の大きさに応じて座標をバケツに分割する、動的バケツ化選択的座標降下法（DB-SCD）を提案する。
• 各反復で1つのバケツ内のすべての座標を効率的に更新することで、干渉を低減し、より大きなステップを制御可能に実行する。
• 非滑らかなLPを滑らかな凸最適化問題に変換するためのスムージング技術を用いる。
• Allen-ZhuとOrecchia（2015）の最近の理論的進展をDB-SCDフレームワークに適用し、よりタイトな収束境界を達成する。
• 最適化後に実行可能性と近似保証を確保するため、確率的ラウンドと補正ステップを採用する。
• 2段階アプローチを統合する：まず、DB-SCDを用いて滑らかにした双対問題を最適化し、次に、コストが有界な後処理ステップで実行不能な制約を補正する。

実験結果

リサーチクエスチョン

• RQ1 パラレルなパッケージングおよびカービングLPにおいて、収束時間のオーダーを Õ(1/ε²) に達成できるか。これは、従来の Õ(1/ε³) の境界を改善するものか。
• RQ2 非滑らかな問題における1次最適化の並列更新において、座標間の干渉をどのように低減できるか。
• RQ3 勾配の大きさの動的バケツ化は、大規模最適化におけるより効果的で安定した座標更新を可能にするか。
• RQ4 DB-SCD手法は、正のLPを越えて、滑らかでない、または構造的最適化問題の他のクラスにも一般化可能か。
• RQ5 DB-SCD最適化後に実行不能な制約を補正する際の期待コストは何か。そのコストは期待的に有界か。

主な発見

• 提案されたDB-SCDアルゴリズムは、パッケージングおよびカービングLPの両方において、期待時間計算量が Õ(1/ε²) に達し、従来の Õ(1/ε³) の境界を改善した。
• 合計作業量は Õ(N/ε²) であり、N は制約行列のサイズを表す。反復回数は期待的に Õ(1/ε²) で実行される。
• 出力解の期待的な目的関数値は、カービングLPでは (1+6ε)OPT 未満、パッケージングLPでは (1−ε)OPT 以上であり、強力な近似保証を満たす。
• DB-SCD最適化後の補正ステップにより、目的関数値に期待的に ε·OPT 未満の追加コストが加算される。これにより近似品質が保持される。
• 同様の勾配の大きさを持つ座標のみを更新することで、座標間の干渉を低減し、より安定的かつ効率的な収束が実現された。
• 理論的分析により、DB-SCDが、従来の標準的座標降下法では不可能であった、Allen-ZhuとOrecchiaの最近の1次最適化境界の適用を可能にすることが確認された。