[論文レビュー] Specialized federated learning using a mixture of experts

Edvin Listo Zec, Olof Mogren+3 more|arXiv (Cornell University)|Oct 5, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 15

ひとこと要約

本稿では、非独立同分布（non-IID）のデータ環境下で、個人化可能でプライバシーを保護する学習を実現するため、グローバルモデルとクライント固有のローカルスペシャリストモデルを組み合わせたフェデレーテッド・ミックスチャネル・オブ・エキスパート（FedMoE）フレームワークを提案する。入力に応じてエキスパートの重みを動的に制御するゲーティング関数を用いることで、FedMoEは、ファインチューニングされたモデルと同等のローカル性能を達成するとともに、一般化性能において顕著に優れる。これは、クライントの参加率が非常に低い状況下でも同様に成り立つ。

ABSTRACT

In federated learning, clients share a global model that has been trained on decentralized local client data. Although federated learning shows significant promise as a key approach when data cannot be shared or centralized, current methods show limited privacy properties and have shortcomings when applied to common real-world scenarios, especially when client data is heterogeneous. In this paper, we propose an alternative method to learn a personalized model for each client in a federated setting, with greater generalization abilities than previous methods. To achieve this personalization we propose a federated learning framework using a mixture of experts to combine the specialist nature of a locally trained model with the generalist knowledge of a global model. We evaluate our method on a variety of datasets with different levels of data heterogeneity, and our results show that the mixture of experts model is better suited as a personalized model for devices in these settings, outperforming both fine-tuned global models and local specialists.

研究の動機と目的

• 非独立同分布（non-IID）のクライントデータを有するフェデレーテッド環境下で、個人化可能なモデル学習の課題に取り組むこと。
• ファインチューニングされたローカルモデルよりも一般化性能を向上させつつ、高いローカル精度を維持すること。
• クライントがフェデレーテッドアグリゲーションから完全に退出できるようにすることで、強力なプライバシー保証を実現すること。
• 勾配ベースの任意のモデルと互換性を持つ柔軟なフレームワークを構築し、参加するクライントの数を柔軟に制御できること。
• 画像分類およびテキスト分類のタスクにおいて、多様なデータの非同一性と参加退出条件の下で、手法の有効性を評価すること。

提案手法

• 各クライントごとにミックスチャネル・オブ・エキスパートを用い、グローバルモデルとローカルスペシャリストモデルを組み合わせ、クライント固有のゲーティング関数でエキスパート出力を重み付けする。
• グローバルモデルは、全クライントのデータを用いて最初にFedAvgで訓練され、その後ローカルスペシャリストモデルはグローバルモデルから初期化され、ローカルデータで訓練される。
• グローバルモデル、ローカルスペシャリストモデル、クライント固有のゲーティング関数を含む、全体のミックスチャネルを同時にファインチューニングする。
• ゲーティング関数は、入力特徴に基づいて、最も適切なエキスパート（グローバルまたはローカル）に入力をルーティングする。これにより、適応的で柔軟な個人化が可能になる。
• クライントはフェデレーテッドアグリゲーションから完全に退出でき、データをプライベートに保ちながらも、推論のためにグローバルモデルにアクセス可能である。
• 本手法は、任意の微分可能な機械学習モデルと互換性があり、多様なモデルのアンサンブルもサポートする。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド・ミックスチャネル・オブ・エキスパートフレームワークは、ファインチューニングされたローカルモデルよりも優れた一般化性能を達成できるか、かつ高いローカル性能を維持できるか？
• RQ2 参加クライントの割合が非常に低い（例：90%〜95%のクライントが参加を中止）状況下で、本手法の性能はどの程度保たれるか？
• RQ3 ミックスチャネル・オブ・エキスパート手法は、事前確率シフトなどの異なる種類のデータ非同一性に対しても、良好に一般化できるか？
• RQ4 IIDおよび非IIDデータ環境下で、本手法の性能はFedAvgと比べてどの程度か？
• RQ5 現実のフェデレーテッド環境下で、有効な個人化を実現しつつ、強力なプライバシー保証を維持できるか？

主な発見

• FedMoEモデルは、すべてのデータセットにおいて、グローバルテストセットでファインチューニングされたローカルモデルを上回る一般化性能を示した一方で、ローカル性能は同等を維持した。
• CIFAR-10、AG News、Fashion-MNISTの各データセットにおいて、ミックスチャネル・オブ・エキスパートは、ファインチューニングベースラインよりも常にFedAvgに近いグローバルテスト精度を達成した。特に、データ非同一性が高い状況下で顕著であった。
• 90%および95%のクライント参加率の低下状況下でも、FedMoEモデルは強固な一般化性能を維持し、グローバルテストセットでファインチューニングベースラインを上回った。
• IIDケース（p=0.2）では、ミックスチャネル・オブ・エキスパートがFedAvgを上回る一般化性能を示した。これは、参加率が低い状況でも堅牢であることを示している。
• 本手法は、ファインチューニングモデルと同等のローカルテスト精度を達成した。これは、個人化がローカル性能を犠牲にすることなく実現できることを示している。
• 異なるディリクレ分布のα値や主要クラスの頻度を用いた実験を通じて、本フレームワークが多様なデータ非同一性レベルに対して頑健であることが示された。