[論文レビュー] Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning

George P. Kontoudis, Daniel J. Stilwell|arXiv (Cornell University)|Mar 6, 2022

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

本稿では、プロキシマルADMMを用いた分散型ハイパーパramータ学習と、一貫性に基づく集約を用いた予測を実現する、完全に分散型でスケーラブルなガウス過程（GP）手法を提案する。予測のスケーラビリティをO(N²)に保ちながら、共分散に基づく最近傍選択を用いることで、中央集権的な調整なしに効率的でプライバシー保護型の学習が可能になる。

ABSTRACT

In this paper, we propose decentralized and scalable algorithms for Gaussian process (GP) training and prediction in multi-agent systems. To decentralize the implementation of GP training optimization algorithms, we employ the alternating direction method of multipliers (ADMM). A closed-form solution of the decentralized proximal ADMM is provided for the case of GP hyper-parameter training with maximum likelihood estimation. Multiple aggregation techniques for GP prediction are decentralized with the use of iterative and consensus methods. In addition, we propose a covariance-based nearest neighbor selection strategy that enables a subset of agents to perform predictions. The efficacy of the proposed methods is illustrated with numerical experiments on synthetic and real data.

研究の動機と目的

• 分散型マルチエージェントシステムにおけるガウス過程のスケーラビリティと通信ボトルネックを解消すること。
• 中央集権的調整やデータの集約なしに、完全に分散型のGPトレーニングと予測を可能にすること。
• 計算および通信のオーバーヘッドを低減しながら、予測の正確性と不確実性の定量化を維持すること。
• GDPRなどのプライバシー規制に準拠するため、生データの送信を回避すること。
• GPS不使用環境や帯域制限のある環境におけるリアルタイム応用に適したスケーラブルで分散型の推論手法を開発すること。

提案手法

• プロキシマルADMMを用いて、GPハイパーパramータの最尤推定（MLE）を分散化し、双対変数の更新を伴う局所的最適化を可能にする。
• 分散型プロキシマルADMMの閉形式解を導出することで、1イテレーションあたりの計算および通信量を削減する。
• 中央集約ノードが存在しない状況で、複数エージェントの予測を統合する反復的かつ一貫性に基づく集約プロトコルを採用する。
• カーネルの減衰を用いて関連するエージェントを同定する共分散に基づく最近傍（CBNN）選択戦略を導入する。
• DEC-NPAEおよびDEC-NN-NPAEを含む13種類の分散型予測手法を適用し、局所的協調によってグローバルGP予測を近似する。
• 径数カーネルの減衰と経路グラフのトポロジー制約を活用して、最近傍グラフの強い連結性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ADMMを用いてガウス過程のハイパーパramータ学習を完全に分散化できるか、収束性と正確性を維持できるか？
• RQ2 通信量を最小限に抑える分散型マルチエージェントシステムにおいて、GP予測を効率的に近似できるか？
• RQ3 共分散に基づく最近傍選択が、予測の正確性と通信効率に与える影響は何か？
• RQ4 中央集権型GPと比較して、エージェント数や観測数の増加に伴う本手法のスケーリング特性はいかなるものか？
• RQ5 計算および通信コストを削減しながらも、分散型GPフレームワークが予測の不確実性の定量化を維持できるか？

主な発見

• 提案されたプロキシマルADMMベースのGPトレーニングは閉形式解を達成し、通信量を1イテレーションあたり削減した効率的な分散型ハイパーパramータ最適化を可能にする。
• 共分散に基づく最近傍（CBNN）選択戦略により、局所的予測グラフにおける強い連結性を確保するとともに、予測に参加するエージェント数を最小限に抑える。
• 特にDEC-NN-NPAEを含む分散型予測手法は、中央集権型GPと同等の予測正確性を達成しながら、通信オーバーヘッドを低減する。
• 合成データおよび実データを用いた数値実験により、スケーラビリティとロバストネスが実証され、中央集権型GPのベースラインに近い予測性能を示した。
• 本手法により、マルチロボットシステムや自動運転車両などの帯域制限のある環境において、プライバシー保護型でリアルタイムの学習が可能になる。