[論文レビュー] Towards Model Agnostic Federated Learning Using Knowledge Distillation

A. N. Afonin, Sai Praneeth Karimireddy|arXiv (Cornell University)|Oct 28, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 4

ひとこと要約

本稿では、生データを共有せずに、異種のモデルとデータを持つエージェント間での協調を可能にする、モデルに依存しないフェデレーテッドラーニングフレームワークを提案する。知識蒸留（KD）を用い、理論的枠組みとしてフェデレーテッドカーネルリッジ回帰を提示。データの非同一性下では、交互に適用するKD（AKD）は性能を低下させるが、平均化KD（AvgKD）は劣化を回避し、実世界のディープラーニング実験でも理論的予測に近く一致する。

ABSTRACT

Is it possible to design an universal API for federated learning using which an ad-hoc group of data-holders (agents) collaborate with each other and perform federated learning? Such an API would necessarily need to be model-agnostic i.e. make no assumption about the model architecture being used by the agents, and also cannot rely on having representative public data at hand. Knowledge distillation (KD) is the obvious tool of choice to design such protocols. However, surprisingly, we show that most natural KD-based federated learning protocols have poor performance. To investigate this, we propose a new theoretical framework, Federated Kernel ridge regression, which can capture both model heterogeneity as well as data heterogeneity. Our analysis shows that the degradation is largely due to a fundamental limitation of knowledge distillation under data heterogeneity. We further validate our framework by analyzing and designing new protocols based on KD. Their performance on real world experiments using neural networks, though still unsatisfactory, closely matches our theoretical predictions.

研究の動機と目的

• 共有されたモデルアーキテクチャや公開データを必要としない、モデルに依存しないフェデレーテッドラーニングプロトコルの設計。
• 特にデータおよびモデルの非同一性下での知識蒸留の限界の解明。
• KDベースのフェデレーテッドラーニングプロトコルの挙動を分析・予測する理論的枠組みの構築。
• 非同一性環境下での性能劣化を緩和する改善されたKDベースのプロトコルの設計。
• 実世界のデータセットおよびモデル（MLPやランダムフォレストを含む）を用いた理論的知見の実証的検証。

提案手法

• 結合データセット上のカーネルリッジ回帰としてモデルに依存しないフェデレーテッドラーニングを定式化し、機能的類似性および非同一性の分析を可能にする。
• データおよびモデルの非同一性をモデル化する理論的枠組み「フェデレーテッドカーネルリッジ回帰」を導入。
• 交互に知識蒸留（AKD）を凸集合への交互射影と同等とみなす分析を行い、逐次的情報損失を明らかにする。
• 安定な代替手法として平均化知識蒸留（AvgKD）を提案し、性能劣化を回避することを示す。
• MNISTおよびCIFAR10を用いた実世界の実験により理論的予測を検証。交差エントロピーおよびMSE損失関数を用いる。
• AvgKDをMエージェント設定に拡張し、多様なデータ非同一性レベルにおいて安定性および初期通信の利点を示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な知識蒸留ベースのフェデレーテッドラーニングプロトコルは、なぜデータ非同一性下で性能が劣化するのか？
• RQ2 共有されたモデルアーキテクチャを必要とせず、「フィット」と「予測」のみをプリミティブとして用いる、モデルに依存しないフェデレーテッドラーニングプロトコルを設計可能か？
• RQ3 データ非同一性は、フェデレーテッド環境下での知識蒸留の収束および性能にどのように影響するか？
• RQ4 KDベースのフェデレーテッドラーニングプロトコルの挙動を予測・分析する理論的枠組みを構築可能か？
• RQ5 平均化知識蒸留（AvgKD）は、非同一なデータおよびモデル環境下で、安定性および最終精度の面で交互KDを上回るか？

主な発見

• 交互に知識蒸留（AKD）は、特に高いデータ非同一性下で、交互射影プロセスに起因する逐次的情報損失により、ラウンドを経るごとに性能が劣化する。
• 平均化知識蒸留（AvgKD）は、MLPやランダムフォレストといった異なるモデルを含むすべてのテスト設定で、性能劣化を示さない。
• MNISTおよびCIFAR10において、AvgKDはラウンドを経ても安定した性能を維持するが、AKDは一貫して劣化し、正則化が強い、モデル非同一性が強い、またはデータが不均衡な状況では劣化が加速する。
• 実験結果は、フェデレーテッドカーネルリッジ回帰フレームワークからの理論的予測と密接に一致し、その有用性を検証する。
• 完全なデータ非同一性（Alpha=0）を想定するMエージェント設定では、早期停止が性能を向上させ、AvgKDでは初期通信ラウンドが全エージェントに利益をもたらす。
• AvgKDにおける両エージェントの性能はデータ非同一性に強く依存するが、ラウンドを経ても劣化は発生せず、MLPとランダムフォレストといった根本的に異なるモデル間でも同様である。