[論文レビュー] Distributed heavy-ball: A generalization and acceleration of first-order methods with gradient tracking

Ran Xin, Usman A. Khan|arXiv (Cornell University)|Aug 8, 2018

Distributed Control Multi-Agent Systems参考文献 52被引用数 7

ひとこと要約

本稿では、勾配追跡とヘヴィーボールモーメンタムを組み合わせることで、非対称グラフおよび有向グラフの両方において加速的でR線形収束を達成する分散最適化アルゴリズム$σ$ABmを提案する。非同一の局所ステップサイズと同時に行ストキャスティック（RS）および列ストキャスティック（CS）重みを適用することにより、二重ストキャスティック重みや固有ベクトル推定の必要性を排除し、既存の手法を統一し、特に悪条件な問題においてより高速な収束を実現する。

ABSTRACT

We study distributed optimization to minimize a global objective that is a sum of smooth and strongly-convex local cost functions. Recently, several algorithms over undirected and directed graphs have been proposed that use a gradient tracking method to achieve linear convergence to the global minimizer. However, a connection between these different approaches has been unclear. In this paper, we first show that many of the existing first-order algorithms are in fact related with a simple state transformation, at the heart of which lies the $\mathcal{AB}$ algorithm. We then describe extit{distributed heavy-ball}, denoted as $\mathcal{AB}m$, i.e., $\mathcal{AB}$ with momentum, that combines gradient tracking with a momentum term and uses nonidentical local step-sizes. By simultaneously implementing both row- and column-stochastic weights, $\mathcal{AB}m$ removes the conservatism in the related work due to doubly-stochastic weights or eigenvector estimation. $\mathcal{AB}m$ thus naturally leads to optimization and average-consensus over both undirected and directed graphs, casting a unifying framework over several well-known consensus algorithms over arbitrary strongly-connected graphs. We show that $\mathcal{AB}m$ has a global $R$-linear rate when the largest step-size is positive and sufficiently small. Following the standard practice in the heavy-ball literature, we numerically show that $\mathcal{AB}m$ achieves accelerated convergence especially when the objective function is ill-conditioned.

研究の動機と目的

• 分散勾配追跡を用いた既存の1次最適化手法を統一的なフレームワークに統合すること。
• 従来のアルゴリズムにおける二重ストキャスティック重みや固有ベクトル推定の制限を解消すること。
• 特に悪条件な目的関数に対して、分散最適化の収束を加速すること。
• 構造的仮定を必要とせず、非対称および有向グラフの両方へ自然に拡張可能な手法を開発すること。

提案手法

• $σ$ABアルゴリズムに状態変換を用いてモーメンタムを統合した分散ヘヴィーボール法$σ$ABmを提案する。
• 二重ストキャスティック重みによる保守的設計を避けるために、非同一の局所ステップサイズと同時に行ストキャスティック（RS）および列ストキャスティック（CS）重みを適用する。
• 局所情報と隣接ノード間の通信を用いてグローバル勾配を推定する勾配追跡メカニズムを採用する。
• 拡張されたシステム行列の固有値特性を分析することで収束保証を導出し、最大ステップサイズが正かつ十分に小さい場合にR線形収束が成立することを示す。
• $σ$ABmが特別な場合として新たな平均一致アルゴリズムを包含することを示し、既存の手法を統一する。
• システム行列の偏差のスペクトル半径を最小化するように、グリッドサーチを用いてモーメンタムパラメータ（$\alpha$, $\beta$）をチューニングする。

実験結果

リサーチクエスチョン

• RQ1 多様な分散1次最適化手法と勾配追跡を統一的なフレームワークで結びつけることは可能か？
• RQ2 勾配追跡にモーメンタムを組み込むことで、分散最適化における収束速度が向上するか？
• RQ3 非同一ステップサイズとRS/CS重みの併用により、固有ベクトル推定や二重ストキャスティック重みの必要性を排除できるか？
• RQ4 提案手法は、特に悪条件な問題において加速的収束を達成するか？
• RQ5 構造的仮定を必要とせず、非対称および有向グラフの両方へ自然に適用可能か？

主な発見

• $σ$ABmアルゴリズムは、滑らかで強く凸な目的関数のもとで、最大ステップサイズが正かつ十分に小さい場合にグローバルR線形収束を達成する。
• 数値実験の結果、$σ$ABmは悪条件な問題において集中型勾配降下法を上回り、モーメンタムによる加速が顕著に現れる。
• $σ$ABmにおけるシステム行列偏差のスペクトル半径は、サープラスコントロール（surplus consensus）より小さいことから、平均一致においてより高速な収束が実現している。
• 本手法は、EXTRA、Aug-DGM、ADD-OPTに基づく既存の複数のアルゴリズムを$σ$ABフレームワークの下で統一する。
• 行ストキャスティックおよび列ストキャスティック重みの使用により、二重ストキャスティック重みの保守的設計を回避し、固有ベクトル推定の必要性がなくなる。
• グリッドサーチにより、スペクトル半径を最小化する最適なモーメンタムパラメータ（$\alpha^*$, $\beta^*$）が特定され、平均一致における加速の可能性が裏付けられた。