[論文レビュー] Distributed Online Optimization via Gradient Tracking with Adaptive Momentum.

Guido Carnevale, Francesco Farina+2 more|arXiv (Cornell University)|Sep 3, 2020

Distributed Control Multi-Agent Systems参考文献 47被引用数 6

ひとこと要約

本稿では、勾配追跡と適応的モーメンタム推定を組み合わせることで、強い凸性および滑らかさの設定において線形収束を達成する分散型オンライン最適化アルゴリズムGTAdamを提案する。平均動的リグレットが有界であり、時変分類やターゲット局所化といったマルチエージェント学習タスクにおいて、最先端の手法を上回る性能を示す。

ABSTRACT

This paper deals with a network of computing agents aiming to solve an online optimization problem in a distributed fashion, i.e., by means of local computation and communication, without any central coordinator. We propose the gradient tracking with adaptive momentum estimation (GTAdam) distributed algorithm, which combines a gradient tracking mechanism with first and second order momentum estimates of the gradient. The algorithm is analyzed in the online setting for strongly convex and smooth cost functions. We prove that the average dynamic regret is bounded and that the convergence rate is linear. The algorithm is tested on a time-varying classification problem, on a (moving) target localization problem and in a stochastic optimization setup from image classification. In these numerical experiments from multi-agent learning, GTAdam outperforms state-of-the-art distributed optimization methods.

研究の動機と目的

• 中央コーディネータのないネットワークにおける分散型オンライン最適化の課題に対処すること。
• 時間変動する目的関数を伴う動的環境における収束性と適応性の向上。
• 勾配追跡と適応的モーメンタムを組み合わせることで、オンライン設定における性能を向上させる手法の設計。
• 強い凸性および滑らかさを満たす問題において、有界な平均動的リグレットを達成する線形収束レートの実現。

提案手法

• GTAdamアルゴリズムは、エージェント間のローカルな情報交換を用いて、グローバル勾配を推定する勾配追跡を統合する。
• アダムに類似した第一および第二階の勾配モーメントの推定を用いて、分散環境における適応的モーメンタムを実装する。
• 各エージェントは、ローカル通信および計算を介して更新される、勾配およびそのモーメンタムのローカル推定値を維持する。
• アルゴリズムは、ネットワーク全体における平均勾配を追跡するためのコセンサスベースのメカニズムを用い、グローバル最適化目的と整合性を保つ。
• 目的関数が時間とともに変化するオンライン設定を想定し、リアルタイムでの適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 勾配追跡と適応的モーメンタムを組み合わせることで、分散型オンライン最適化において線形収束を達成できるか？
• RQ2 時間変動する環境において、GTAdamは最先端の分散型手法と比較してどのように性能を発揮するか？
• RQ3 強い凸性および滑らかさを満たす目的関数下で、GTAdamの動的リグレットの上限は何か？
• RQ4 GTAdamは、移動ターゲット局所化や画像分類といったオンライン学習タスクを効果的に処理できるか？

主な発見

• GTAdamは、強い凸性および滑らかさを満たすオンライン最適化問題において、平均動的リグレットの線形収束レートを達成する。
• GTAdamの平均動的リグレットは有界であり、時間経過に伴う安定的で予測可能な性能を示す。
• 時変分類タスクにおいて、GTAdamは収束速度および精度の面で、既存の分散型最適化手法を上回る。
• 移動ターゲット局所化のタスクにおいて、GTAdamはベースラインアルゴリズムと比較して優れた追跡性能を示す。
• 確率的画像分類の設定において、GTAdamは最先端の分散型手法と比較して、一般化性能が向上し、収束が速い。