[論文レビュー] Personalised Federated Learning: A Combinational Approach

Sone Kyaw Pye, Han Yu|arXiv (Cornell University)|Aug 22, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用数 4

ひとこと要約

本論文は、非独立同分布（non-i.i.d.）データ、微分プライバシー（DP）、およびロバストアグリゲーション（RA）の下でモデル性能を向上させるために、ファインチューニング、エキスパートの混合（MoE）、マルチタスク学習（MTL）、知識蒸留（KD）の複数の技術を統合した組み合わせ的パーソナライゼーションフレームワークを提案する。実験により、個々の手法に比べて組み合わせ的アプローチが一貫して優れた性能を示し、データの非同一性やプライバシー保護機構に起因する性能低下を効果的に緩和することが明らかになった。

ABSTRACT

Federated learning (FL) is a distributed machine learning approach involving multiple clients collaboratively training a shared model. Such a system has the advantage of more training data from multiple clients, but data can be non-identically and independently distributed (non-i.i.d.). Privacy and integrity preserving features such as differential privacy (DP) and robust aggregation (RA) are commonly used in FL. In this work, we show that on common deep learning tasks, the performance of FL models differs amongst clients and situations, and FL models can sometimes perform worse than local models due to non-i.i.d. data. Secondly, we show that incorporating DP and RA degrades performance further. Then, we conduct an ablation study on the performance impact of different combinations of common personalization approaches for FL, such as finetuning, mixture-of-experts ensemble, multi-task learning, and knowledge distillation. It is observed that certain combinations of personalization approaches are more impactful in certain scenarios while others always improve performance, and combination approaches are better than individual ones. Most clients obtained better performance with combined personalized FL and recover from performance degradation caused by non-i.i.d. data, DP, and RA.

研究の動機と目的

• クライアント間での非i.i.d.データ分布に起因するフェデレーテッドラーニング（FL）モデルの性能低下を解消すること。
• 微分プライバシー（DP）およびロバストアグリゲーション（RA）がFLモデル性能に与える影響を調査すること。
• ファインチューニング、エキスパートの混合（MoE）、マルチタスク学習（MTL）、知識蒸留（KD）といったさまざまなパーソナライゼーション技術を個別および組み合わせて評価・比較すること。
• 多様なFLシナリオにおいて一貫してクライアント固有の性能を向上させる最適なパーソナライゼーション戦略の組み合わせを同定すること。
• 非i.i.d.データ、プライバシー制約に起因する性能損失を、組み合わせ的パーソナライゼーションアプローチが回復できることを示すこと。

提案手法

• 著者らは、ファインチューニング、エキスパートの混合（MoE）、マルチタスク学習（MTL）、知識蒸留（KD）を統合したハイブリッドパーソナライゼーションフレームワークを実装した。
• これらの技術を順次的かつ補完的に適用する：まずグローバルなFLモデルを訓練し、その後クライアントごとにファインチューニングとMoEで適応させる一方で、MTLとKDを用いて知識の転送を実現する。
• 訓練中にプライバシーとモデルの整合性を保つために、微分プライバシー（DP）とロバストアグリゲーション（RA）を統合した。
• さまざまな深層学習タスクにおいて、非i.i.d.度の異なるデータとプライバシー制約の下で性能を評価した。
• アブレーションスタディを通じて、各パーソナライゼーション要素およびその組み合わせの寄与度を体系的に隔離・比較した。
• 多様なデータ分布におけるクライアント固有の性能は、正確性と耐性の指標を用いて測定した。

実験結果

リサーチクエスチョン

• RQ1 非i.i.i.d.データ分布は、クライアント間での標準的なフェデレーテッドラーニングモデルの性能にどのように影響を与えるか？
• RQ2 微分プライバシーとロバストアグリゲーションは、FLモデル性能をどの程度低下させるか？
• RQ3 ファインチューニング、MoE、MTL、KDのうち、どの個別パーソナライゼーション手法が最も一貫した性能向上をもたらすか？
• RQ4 非均質的かつプライバシー制約のあるFL環境下で、組み合わせ的パーソナライゼーション戦略は個別手法を上回るか？
• RQ5 組み合わせ的パーソナライゼーションフレームワークは、非i.i.d.データ、DP、RAに起因する性能損失を回復できるか？

主な発見

• 非i.i.d.データ分布に起因して、標準的なフェデレーテッドラーニングモデルはローカルモデルに比べて性能が著しく劣ることが多い。
• 微分プライバシーとロバストアグリゲーションの適用により、クライアント全体のFLモデル性能がさらに低下する。
• パーソナライゼーション手法の組み合わせはクライアント固有の性能を一貫して向上させ、特定のシナリオでは特に優れた向上効果を示す。
• 提案された組み合わせ的アプローチは、非i.i.d.データ、DP、RAに起因する性能損失を効果的に回復させ、グローバルモデルおよび個別パーソナライズドモデルを上回る性能を達成した。
• ファインチューニングに加えて知識蒸留とエキスパートの混合を組み合わせたアプローチが、多様なクライアントデータ分布において最も安定した性能向上をもたらした。
• 一部のパーソナライゼーション手法の組み合わせは普遍的に有益である一方、他の組み合わせは文脈依存であることが判明し、適応的な戦略選択の重要性が示された。