[論文レビュー] Decentralized Collaborative Learning of Personalized Models over Networks

Paul Vanhaesebrouck, Aurélien Bellet+1 more|arXiv (Cornell University)|Oct 17, 2016

Distributed Control Multi-Agent Systems参考文献 21被引用数 93

ひとこと要約

本稿では、ピアツーピアネットワークにおけるパーソナライズドモデルの協調学習のための、非同期的で完全に分散型の2つのガッズアルゴリズムを提案する。最初の手法であるモデル伝搬は、信頼度重み付き正則化を用いて類似性グラフ上で局所的に訓練されたモデルを滑らかにする。2番目の手法である協調学習は、分散型ADMMを用いて局所的精度とモデル滑らかさを共同最適化する。両手法とも局所モデルを著しく上回る性能を示し、特にデータの非均一性が高い環境下で協調学習が優れた精度を達成する。

ABSTRACT

We consider a set of learning agents in a collaborative peer-to-peer network, where each agent learns a personalized model according to its own learning objective. The question addressed in this paper is: how can agents improve upon their locally trained model by communicating with other agents that have similar objectives? We introduce and analyze two asynchronous gossip algorithms running in a fully decentralized manner. Our first approach, inspired from label propagation, aims to smooth pre-trained local models over the network while accounting for the confidence that each agent has in its initial model. In our second approach, agents jointly learn and propagate their model by making iterative updates based on both their local dataset and the behavior of their neighbors. To optimize this challenging objective, our decentralized algorithm is based on ADMM.

研究の動機と目的

• 分散ネットワーク内のエージェントが、ローカルデータと隣接エージェントとの相互作用のみを用いてパーソナライズドモデルを向上させることを可能にすること。
• プライバシーのリスクと高い通信コストを伴う中央集権的学習の限界を克服すること。
• 大規模で現実世界のピアツーピアネットワークに適した、完全に非同期的かつスケーラブルなアルゴリズムを設計すること。
• エージェントの目的を反映する類似性グラフ上のモデル滑らかさとローカルモデルの精度のバランスを取ること。
• データが著しく不均衡な状況や、ローカルトレーニングデータセットのサイズが異なる状況での性能を評価すること。

提案手法

• エージェントがまずローカルモデルを訓練し、その後類似性グラフ上で信頼度重み付き正則化を用いてモデルを伝搬する二段階的手法「モデル伝搬」を導入する。
• 各エージェントごとに信頼度値を用い、トレーニングデータセットのサイズを反映させ、より信頼性の高いモデルがネットワークに与える影響を小さく保つ。
• 最適解に収束する非同期的ガッズアルゴリズムをモデル伝搬に開発する。
• ローカル損失とネットワーク上のモデル滑らかさを共同最適化する「協調学習」を提案し、これをコンSENSUS問題として定式化する。
• 分散型ADMMアルゴリズムを用いて、非同期的かつピアツーピアの方法で協調学習の目的関数を解く。
• エージェントの目的の類似性を反映するエッジ重みを持つネットワークグラフを構築し、歴史的相互作用データから導出する。

実験結果

リサーチクエスチョン

• RQ1 分散ネットワーク内でエージェントが直接の隣人とのみ通信することで、パーソナライズドモデルを向上させることができるか？
• RQ2 異なるローカルデータサイズに起因するモデルの信頼度を、分散型モデル滑らかさにどのように統合できるか？
• RQ3 ローカル精度とネットワークスムージングを同時に最適化することで、逐次的なモデル伝搬よりも優れた性能が得られるか？
• RQ4 アルゴリズムの非同期性が、現実世界のネットワークにおける収束性とスケーラビリティに与える影響は何か？
• RQ5 データの不均衡が、分散型協調学習におけるモデル性能に与える影響は何か？

主な発見

• 協調学習は、すべての特徴空間次元においてモデル伝搬を常に上回り、次元が高くなるほど性能差が拡大する。
• モデル伝搬は、特にデータが少ない環境下で、単独モデルを著しく上回るが、高信頼度のエージェントが自身のローカルモデルから逸脱することを抵抗するため、限界がある。
• 協調学習は、ローカルトレーニングデータセットのサイズに関係なく安定した精度を達成し、データの不均衡を効果的に是正する。
• 非同期的協調学習は、同期的版と同等の性能を示し、現実世界への導入に適している。
• 非同期的モデル伝搬は、協調学習よりも1桁速く収束するため、強力な初期化としての役割を果たす。
• 収束までの反復回数はネットワークサイズに伴い有利にスケーリングされ、提案手法の優れたスケーラビリティを示している。