[論文レビュー] On the Convergence Analysis of Asynchronous Distributed Quadratic Programming via Dual Decomposition

Kooktae Lee, Raktim Bhattacharya|arXiv (Cornell University)|Jun 17, 2015

Stochastic Gradient Optimization Techniques参考文献 28被引用数 6

ひとこと要約

本稿では、双対分解を用いた非同期分散二次計画法（QP）における収束性および収束速度の分析を目的として、スイッチングシステムフレームワークを提案する。非同期更新を部分システム間の確率的スイッチングとしてモデル化することで、平均二乗収束の条件を確立し、収束速度の解析的表現を導出する。その結果、OpenMPを用いた実装において、確率的非同期手法が同期手法に比べ最大5.81倍高速であることが示された。

ABSTRACT

In this paper, we analyze the convergence as well as the rate of convergence of asynchronous distributed quadratic programming (QP) with dual decomposition technique. In general, distributed optimization requires synchronization of data at each iteration step due to the interdependency of data. This synchronization latency may incur a large amount of waiting time caused by an idle process during computation. We aim to attack this synchronization penalty in distributed QP problems by implementing asynchronous update of dual variable. The price to pay for adopting asynchronous computing algorithms is unpredictability of the solution, resulting in a tradeoff between speedup and accuracy. Thus, the convergence to an optimal solution is not guaranteed owing to the stochastic behavior of asynchrony. In this paper, we employ the switched system framework as an analysis tool to investigate the convergence of asynchronous distributed QP. This switched system will facilitate analysis on asynchronous distributed QP with dual decomposition, providing necessary and sufficient conditions for the mean square convergence. Also, we provide an analytic expression for the rate of convergence through the switched system, which enables performance analysis of asynchronous algorithms as compared with synchronous case. To verify the validity of the proposed methods, numerical examples are presented with an implementation of asynchronous parallel QP using OpenMP.

研究の動機と目的

• 並列計算における待機待ちによる同期のペナルティを軽減すること。
• 確率的非同期性下での分散QPにおける非同期双対分解の収束挙動を分析すること。
• 大規模な非同期アルゴリズムを効率的に分析できる計算的に効率の良いフレームワークを提供すること。
• 同期的、決定的非同期的、確率的非同期的スキームの間で、収束速度の解析的表現を導出し、性能を比較すること。
• OpenMPを用いた数値的実装により理論的知見を検証すること。

提案手法

• 非同期双対更新プロセスを確率的スイッチング論理を有するスイッチング力学系としてモデル化する。
• スイッチングシステムフレームワークを用いて、双対変数の平均二乗収束に必要なおよび十分な条件を導出する。
• 新規アルゴリズム（アルゴリズム1）を適用し、スイッチングモードの数を q^N から q に削減することで、計算複雑度を著しく低減する。
• スイッチングシステムの遷移行列のスペクトル半径を計算し、平均二乗意味での収束を検証する。
• 同期的、決定的非同期的、確率的非同期的スキームの3つのスキームについて、収束速度の上界を導出する。
• OpenMPを用いて非同期分散QPを実装し、各スキーム間での計算時間およびスループットの向上を比較する。

実験結果

リサーチクエスチョン

• RQ1 分散QPにおける非同期双対分解は、どのような条件下で平均二乗意味で収束するか？
• RQ2 非同期アルゴリズムの収束速度は、同期的および決定的非同期的スキームと比較してどのように異なるか？
• RQ3 大規模な非同期分散QP問題に対して、計算的に効率の良い分析フレームワークを開発可能か？
• RQ4 確率的非同期手法を同期手法に比べて、スループット向上として得られる性能向上はどの程度か？
• RQ5 スレッド数の増加が、同期的および非同期的スキームのスケーラビリティに与える影響は何か？

主な発見

• 確率的非同期アルゴリズムは、スペクトル半径 0.6147 の平均二乗収束速度を達成し、収束が確認された。
• 8スレッドを用いた場合、順次計算に比べ最大5.81倍の高速化、同期的手法に比べ2.26倍の高速化を達成した。
• 提案されたアルゴリズムにより、スイッチングモードの数を 820,000 から 8 に削減し、効率的な収束解析が可能になった。
• 収束速度の解析により、確率的非同期手法は同期手法に比べ最大5倍、決定的非同期手法に比べ2.5倍高速であることが示された。
• スレッド数の増加に伴い、同期スキームでは性能劣化が生じるが、両方の非同期スキームでは継続的なスループット向上が見られた。
• OpenMPを用いた数値的結果により、確率的非同期スキームが最も速く収束し、最高のスループット向上を達成したことが確認された。