[論文レビュー] PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction

Haishan Ye, Wei Xiong+1 more|arXiv (Cornell University)|Dec 30, 2020

Distributed Control Multi-Agent Systems参考文献 40被引用数 5

ひとこと要約

本稿では、複合最適化問題を解くために、マルチコアンセンス、勾配追跡、ばらつき低減を統合した新しい分散型プロキシマル・グラディエントフレームワークPMGT-VRを提案する。中央集権的アルゴリズムと同等の線形収束レートを達成しており、複合問題に対する最初の分散型確率的プロキシマルアルゴリズムとして、その性能を示している。

ABSTRACT

This paper considers the decentralized composite optimization problem. We propose a novel decentralized variance-reduction proximal-gradient algorithmic framework, called PMGT-VR, which is based on a combination of several techniques including multi-consensus, gradient tracking, and variance reduction. The proposed framework relies on an imitation of centralized algorithms and we demonstrate that algorithms under this framework achieve convergence rates similar to that of their centralized counterparts. We also describe and analyze two representative algorithms, PMGT-SAGA and PMGT-LSVRG, and compare them to existing state-of-the-art proximal algorithms. To the best of our knowledge, PMGT-VR is the first linearly convergent decentralized stochastic algorithm that can solve decentralized composite optimization problems. Numerical experiments are provided to demonstrate the effectiveness of the proposed algorithms.

研究の動機と目的

• 複合最適化問題に対する線形収束を示す分散型確率的アルゴリズムの不足に対処すること。
• 中央集権的アルゴリズムを模倣しつつ、分散型通信制約を維持するフレームワークを開発すること。
• 非凸の局所関数を許容するより弱い仮定のもとで収束を可能にすること。ただし、合計関数が強く凸であれば十分。
• 成分勾配評価の回数を削減し、通信コストをバランスさせることで計算効率を向上させること。

提案手法

• フレームワークは、エージェント間で推定値を同期化するマルチコアンセンス、正確な勾配近似を維持する勾配追跡、収束を加速するばらつき低減を統合する。
• 局所勾配追跡機構を用いたプロキシマル・グラディエント更新を採用。この機構により、隣接エージェントの情報を利用してグローバル勾配を追跡する。
• SAGAおよびLSVRGスタイルの更新を用いてばらつき低減を実装。過去の勾配履歴を保持することで、確率的更新におけるノイズを低減する。
• 各エージェントが直接の隣人とのみ通信する連結で無向なネットワーク上で動作する。これにより、完全な分散性が保証される。
• フル勾配および確率的勾配の両方のバージョンをサポート。収束解析は、全体の目的関数の強い凸性に基づく。
• マルチコアンセンス機構により、エージェントが局所的推定値の平均を追跡でき、接続性が低いネットワークでも安定性と収束性が向上する。

実験結果

リサーチクエスチョン

• RQ1 分散型確率的プロキシマルアルゴリズムが、複合最適化問題において線形収束を達成できるか？
• RQ2 ばらつき低減を分散型プロキシマル手法に効果的に統合できるか。ただし収束速度を損なわないように。
• RQ3 提案フレームワークは、勾配評価数と通信効率の面で、既存の分散型アルゴリズムを上回るか？
• RQ4 局所関数が非凸であっても、全体の目的関数が強く凸であれば、フレームワークは対応可能か？
• RQ5 1イテレーションあたりの分散通信回数が、収束速度と通信コストに与える影響は？

主な発見

• PMGT-SAGAおよびPMGT-LSVRGは、強く凸な複合問題において、中央集権的アルゴリズムSAGAおよびSVRGと同等の線形収束レートを達成する。
• 特に条件数が大きい（ill-conditioned）設定では、PG-EXTRAやNIDSと比較して、成分勾配評価回数を顕著に削減する。
• PMGT-VR手法は、ネットワーク接続性が悪い状況でもロバストであり、$1 - \lambda_2(W)$ が小さい（例：0.05）場合でも高速な収束を維持する。
• \tau = 250 の場合、あらゆる設定でPG-EXTRAおよびNIDSよりも総コストが低くなる。これは、計算と通信のトレードオフの優位性を示している。
• 1イテレーションあたりの分散通信回数（$K$）を増やすことで、ある閾値まで収束速度が向上するが、それ以上になると通信コストが増加するだけで恩恵は得られない。
• 条件数が大きい設定（$\sigma_i = n \times 10^{-7}$）では、性能に影響を与える主因となるが、PMGT-VRは勾配評価数および総コストの面でPG-EXTRAおよびNIDSを上回る。