[論文レビュー] Fully Decentralized Joint Learning of Personalized Models and Collaboration Graphs

Valentina Zantedeschi, Aurélien Bellet+1 more|arXiv (Cornell University)|Jan 24, 2019

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

本稿では、交互最適化を用いて、ユーザー間のスパースな協調グラフとパーソナライズドモデルを同時に学習する完全分散型フレームワークを提案する。ユーザーはピアツピアの更新を通じてモデルを段階的に改善し、ランダムなピアをサンプリングすることで協調グラフを更新する。ベースライン手法と比較して、特に高次元データにおいて、通信コストを低く抑えながらも高いテスト精度を達成し、プライバシー保護とスケーラビリティを維持する。

ABSTRACT

We consider the fully decentralized machine learning scenario where many users with personal datasets collaborate to learn models through local peer-to-peer exchanges, without a central coordinator. We propose to train personalized models that leverage a collaboration graph describing the relationships between user personal tasks, which we learn jointly with the models. Our fully decentralized optimization procedure alternates between training nonlinear models given the graph in a greedy boosting manner, and updating the collaboration graph (with controlled sparsity) given the models. Throughout the process, users exchange messages only with a small number of peers (their direct neighbors when updating the models, and a few random users when updating the graph), ensuring that the procedure naturally scales with the number of users. Overall, our approach is communication-efficient and avoids exchanging personal data. We provide an extensive analysis of the convergence rate, memory and communication complexity of our approach, and demonstrate its benefits compared to competing techniques on synthetic and real datasets.

研究の動機と目的

• 中央集権的およびフェデレーテッドラーニングの限界を克服し、ユーザーのプライバシーを保護するとともに、非独立同分布（non-iid）でパーソナライズされたデータを効果的に処理すること。
• 中央コーディネータやグローバルモデルが存在しない状況でも、スケーラブルな分散型協調学習を可能にすること。
• ユーザー間のタスク類似度を反映するスパースな協調グラフと、パーソナライズドモデルを同時に学習すること。
• 局所的で適応的な更新により、通信オーバーヘッドを最小限に抑えながら高いモデル精度を維持すること。
• 限られたユーザー相互作用のもとで、大規模な分散環境において収束性とスケーラビリティを確保すること。

提案手法

• ユーザーは、l1-Adaboostに基づくグリーディブースティング手法を用いて、非線形なパーソナライズドモデルを訓練し、1つの基本予測子を1回ずつ逐次追加することで更新する。
• モデル更新は、現在の協調グラフ内の直接の隣接ノードにのみ送信され、通信コストを低く抑える。
• ピア・サブスクリプションサービスを介してランダムなピアをサンプリングすることで、分散的に協調グラフを更新し、スパarsityを維持する。
• グラフ更新は、モデルの滑らかさとグラフのスパarsityのバランスを取る正則化目的関数に従い、ハイパーパrameter λ によりエッジ密度を制御する。
• アルゴリズムは、固定されたグラフ上でモデル最適化を行う段階と、固定されたモデル上でグラフの最適化を行う段階を交互に繰り返し、共同収束を実現する。
• 通信複雑度を低減しながらモデル性能を維持するために、スパarsity誘導型正則化子を用いる。

実験結果

リサーチクエスチョン

• RQ1 分散環境下で、タスク類似度を動的に学習することで、パーソナライズドモデルがより良い一般化性能を達成できるか？
• RQ2 中央コーディネータが存在しない状況でも、協調グラフを完全に分散型で学習できるか？
• RQ3 分散型共同学習において、グラフのスパarsityとモデル精度のトレードオフはどのようなものか？
• RQ4 分散型パーソナライズド学習において、通信効率を著しく向上させつつも高いテスト精度を維持できるか？
• RQ5 モデルと協調グラフの共同最適化は、収束性とスケーラビリティにどのように影響を与えるか？

主な発見

• Harwsデータセット（D=561）では、Dada-Learnedが95.57％のテスト精度を達成し、Perso-linear-Learned（96.87％）およびGlobal-Adaboost（94.34％）よりも低い通信コストで実現した。
• Vehicle Sensorデータセット（D=100）では、Dada-Learnedが91.04％の精度に達し、Local-Adaboost（90.59％）およびGlobal-Adaboost（88.02％）を上回った。
• Computer Buyersデータセット（D=14）では、Dada-Learnedが73.55％の精度を達成し、Local-Adaboost（66.61％）およびGlobal-Adaboost（69.16％）を顕著に上回った。
• Schoolsデータセット（D=17）では、Dada-Learnedが72.47％の精度を達成し、Local-Adaboost（70.69％）およびGlobal-Adaboost（69.96％）を上回った。
• Moons100データセットにおける学習済み協調グラフでは、ノード1つあたり平均42.64人の隣接ノードを有し、オラクルグラフ（平均60.86人）と比較して通信コストが低減した。
• λが低下するにつれてグラフはよりスパースになり、テスト精度はLocal-boostに近づくことが確認され、スパarsityと性能の明確なトレードオフが示された。