[論文レビュー] Federated learning using mixture of experts

Edvin Listo Zec, John Martinsson+3 more|arXiv (Cornell University)|May 4, 2021

Privacy-Preserving Technologies in Data参考文献 8被引用数 7

ひとこと要約

本稿では、データの非同一性を扱い、分散学習におけるプライバシーを強化するため、エキスパートの混合（MoE）を用いたフェデレーテッドラーニングフレームワークを提案する。局所的なスペシャリストモデルとグローバルな汎用モデルを組み合わせることで、一部のクライアントがモデル共有から退出する状況でも、パーソナライゼーションと耐障害性が向上する。また、選択的なデータ開示により、厳密なプライバシー保護を維持する。

ABSTRACT

Federated learning has received attention for its efficiency and privacy benefits,in settings where data is distributed among devices. Although federated learning shows significant promise as a key approach when data cannot be shared or centralized, current incarnations show limited privacy properties and have short-comings when applied to common real-world scenarios. One such scenario is heterogeneous data among devices, where data may come from different generating distributions. In this paper, we propose a federated learning framework using a mixture of experts to balance the specialist nature of a locally trained model with the generalist knowledge of a global model in a federated learning setting. Our results show that the mixture of experts model is better suited as a personalized model for devices when data is heterogeneous, outperforming both global and lo-cal models. Furthermore, our framework gives strict privacy guarantees, which allows clients to select parts of their data that may be excluded from the federation. The evaluation shows that the proposed solution is robust to the setting where some users require a strict privacy setting and do not disclose their models to a central server at all, opting out from the federation partially or entirely. The proposed framework is general enough to include any kind of machine learning models, and can even use combinations of different kinds.

研究の動機と目的

• デバイス間で非同一なデータ分布が生じる状況における、現在のフェデレーテッドラーニングの限界を解消すること。
• 局所的なスペシャリストモデルとグローバルな汎用モデルのバランスを取ることで、モデルのパーソナライゼーションを向上させること。
• 中央集約において、機微なデータやモデルを除外できるようにすることで、強力なプライバシー保証を提供すること。
• 部分的または完全にモデル共有から退出するクライアントの参加を柔軟にサポートすること。
• 異なる機械学習モデル（ハイブリッド組み合わせを含む）と互換性がある汎用的なフレームワークを設計すること。

提案手法

• フレームワークは、エキスパートの混合アーキテクチャを採用しており、各クライアントが自身のデータ分布に適合した局所エキスパートモデルを学習する。
• グローバルモデルは汎用モデルとして機能し、クライアント間で共有知識を提供する一方、局所エキスパートはデバイス固有のデータに特化する。
• クライアントは、モデル更新の一部のみを共有可能であり、機微なデータに対する厳密なプライバシー保護を実現する。
• システムは、入力の特徴に基づいて、最も関連性の高い局所エキスパートとグローバルモデルを動的にルーティングする。
• 学習プロセスは、クライアントごとのエキスパートでのローカル更新と、モデル更新のグローバル集約を交互に実行する。プライバシー保護は、微分プライバシーまたはデータフィルタリングによって維持される。
• フレームワークは、異なるデバイスで異なるアーキテクチャやアルゴリズムを用いた非同一なモデルをサポートしており、モデルの多様性を実現する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、クライアント間のデータ非同一性に対して、どのようにしてより耐障害性を高められるか？
• RQ2 エキスパートの混合アーキテクチャは、プライバシーを損なわずに、フェデレーテッドラーニングにおけるパーソナライゼーションを向上させられるか？
• RQ3 一部のクライアントがモデル共有から完全または部分的に退出した場合、フレームワークの性能はどのように変化するか？
• RQ4 選択的なデータ開示は、モデルの精度と収束にどのような影響を与えるか？
• RQ5 異なるモデルタイプをクライアント間でサポートしつつ、システムの整合性を保てるか？

主な発見

• エキスパートの混合モデルは、非同一データ下で、グローバルモデルやローカルモデルのみのアプローチを上回る精度を示し、優れたパーソナライゼーションを実現する。
• 一部のクライアントが中央集約からモデルを除外しても、フレームワークは高い性能を維持し、部分的参加に対しても耐障害性を示す。
• クライアントは、機微でない部分のデータやモデル更新のみを意図的に開示することで、強力なプライバシー保護を達成できる。
• システムは、デバイス間で非同一なモデルタイプをサポートしており、柔軟で多様なモデル統合を実現する。
• このアプローチは汎用的であり、異なるアーキテクチャの組み合わせを含む、あらゆる機械学習モデルに適用可能である。
• クライアント参加状況やデータ分布の変動があっても、トレーニングの収束性と安定性を保証する。