[論文レビュー] Asynchronous Decentralized Optimization in Directed Networks

Jiaqi Zhang, Keyou You|arXiv (Cornell University)|Jan 24, 2019

Distributed Control Multi-Agent Systems参考文献 58被引用数 16

ひとこと要約

本稿では、同期が不要な非同期分散最適化アルゴリズムであるAPPGを提案する。このアルゴリズムは、有向ネットワークにおいて各ノードが協調せずに独立して更新可能であり、強い凸性およびリプシッツ勾配条件の下で、$O(\lambda^k)$の線形収束率を達成する。線形回帰における性能は、線形スケーリングを実現し、システム実装面でも効率的である。

ABSTRACT

A popular asynchronous protocol for decentralized optimization is randomized gossip where a pair of neighbors concurrently update via pairwise averaging. In practice, this creates deadlocks and is vulnerable to information delays. It can also be problematic if a node is unable to response or has only access to its private-preserved local dataset. To address these issues simultaneously, this paper proposes an asynchronous decentralized algorithm, i.e. APPG, with {\em directed} communication where each node updates {\em asynchronously} and independently of any other node. If local functions are strongly-convex with Lipschitz-continuous gradients, each node of APPG converges to the same optimal solution at a rate of $O(\lambda^k)$, where $\lambda\in(0,1)$ and the virtual counter $k$ increases by 1 no matter on which node updates. The superior performance of APPG is validated on a logistic regression problem against state-of-the-art methods in terms of linear speedup and system implementations.

研究の動機と目的

• 既存の非同期ガスーププロトコルの限界、例えばデッドロックや通信遅延への感受性を是正する。
• ノード同士の協調や隣接ノードからの応答を必要としない、完全に非同期な更新を分散ネットワークで実現する。
• ノードがプライベートな局所データセットを保有している場合や応答しない場合でも、同じ最適解に収束することを保証する。
• より現実的な多くのシステムで見られる有向通信トポロジーにおいても収束保証を維持する手法を設計する。
• 各ノードの更新が行われるたびに1ずつ増加する仮想カウンタ$k$を用いて、更新タイミングや協調の有無に依存しない線形収束率$O(\lambda^k)$を達成する。

提案手法

• 有向ネットワークにおいて、各ノードがイン・ネイバーからの情報に基づき、独立的かつ非同期的に局所推定値を更新する非同期分散アルゴリズムAPPGを提案する。
• 各ローカル更新のたびに1ずつ増加する仮想カウンタ$k$を導入し、非同期更新の統一的収束解析を可能にする。
• 各ノードがイン・ネイバーからのみ情報を受信する有向通信グラフを活用することで、より柔軟で現実的なネットワークトポロジーを実現する。
• すべてのノードが同じ最適解に収束することを保証する、コアリッジベースの更新ルールを適用する。
• 強い凸性およびリプシッツ勾配仮定の下で線形収束を証明するために、リャプノフ関数解析を導入する。
• 更新タイミングや協調の有無に依存せず、進捗を追跡するための仮想カウンタ$k$に依存する収束保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 協調を要しない非同期分散最適化アルゴリズムは、有向ネットワークにおいて線形収束を達成できるか？
• RQ2 ノードが応答しない場合やプライベートな局所データセットを保有している場合、アルゴリズムはどのように動作するか？
• RQ3 強い凸性およびリプシッツ勾配条件の下で、非同期かつ有向ネットワーク環境において保証できる収束速度は何か？
• RQ4 既存手法と比較して、システム性能に線形スケーリングを達成できるか？
• RQ5 同期更新が存在しない状況で、仮想カウンタ$k$はどのように収束解析を可能にするか？

主な発見

• APPGは、$\lambda \in (0,1)$を満たす条件下で、$k$をローカル更新のたびに1ずつ増加する仮想カウンタとして、$O(\lambda^k)$の線形収束率を達成する。
• 有向ネットワークにおける非同期的かつ独立的な更新の下でも、すべてのノードが同じ最適解に収束する。
• APPGは、応答しないノードに対しても頑健であり、プライベートな局所データセットのサポートも可能である。ノード同士の協調や応答は不要である。
• 線形回帰タスクにおいて、最先端の手法と比較して、システム性能に線形スケーリングを示す。
• 強い凸性およびリプシッツ連続勾配の下でも、通信遅延が存在する状況でも収束保証が維持される。
• 実験的評価により、実世界の分散最適化ベンチマークにおいて、収束速度およびシステム効率の両面で優れた性能が確認された。