[論文レビュー] MetaFed: Federated Learning among Federations with Cyclic Knowledge Distillation for Personalized Healthcare

Yiqiang Chen, Lu Wang+3 more|arXiv (Cornell University)|Jun 17, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

MetaFedは、サイクル型知識蒸留を用いて中央サーバーが不要な個人化可能なモデルを実現する、サーバーレスなフェデレーテッドラーニングフレームワークを提案する。実世界のパーキンソン病の振動検出において、FedAvg や FedProx よりも最大16.11%高い精度を達成するとともに、通信コストを削減し、データの非同一性に対しても効果的に対処する。

ABSTRACT

Federated learning has attracted increasing attention to building models without accessing the raw user data, especially in healthcare. In real applications, different federations can seldom work together due to possible reasons such as data heterogeneity and distrust/inexistence of the central server. In this paper, we propose a novel framework called MetaFed to facilitate trustworthy FL between different federations. MetaFed obtains a personalized model for each federation without a central server via the proposed Cyclic Knowledge Distillation. Specifically, MetaFed treats each federation as a meta distribution and aggregates knowledge of each federation in a cyclic manner. The training is split into two parts: common knowledge accumulation and personalization. Comprehensive experiments on three benchmarks demonstrate that MetaFed without a server achieves better accuracy compared to state-of-the-art methods (e.g., 10%+ accuracy improvement compared to the baseline for PAMAP2) with fewer communication costs.

研究の動機と目的

• 中央サーバーや上位レベルの調整機関への信頼を必要としない、独立した医療機関（フェデレーション）間でのフェデレーテッドラーニングの課題に対処すること。
• 医療応用におけるフェデレーション間でのデータ非同一性（特に特徴量およびラベルのシフト）を克服すること。
• データプライバシーを保持しつつ、フェデレーション間での知識共有を可能にする、個人化可能なフェデレーテッドラーニングフレームワークを開発すること。
• 実世界の医療シナリオ（例：パーキンソン病のモニタリング）において、通信コストを低減し、モデルの精度を向上させること。
• 評価されたベンチマークをはるかに超える多様な医療応用に適用可能なスケーラブルで拡張可能なフレームワークを提供すること。

提案手法

• MetaFedは、各フェデレーションをメタディストリビューションとして扱い、サーバーレスな形でサイクル型知識蒸留を用いて反復的にフェデレーション間で共通知識を転送する。
• フレームワークは2段階で構成される：固定ハイパーパrameterを用いた共通知識の蓄積段階、その後に適応されたハイパーパrameterを用いたパーソナライゼーション段階。
• 知識蒸留はフェデレーション間をサイクル順に適用され、各フェデレーションのモデルが次のフェデレーションの教師モデルとして機能し、共有されるのは蒸留された知識のみであるため、プライバシーが保持される。
• モデル蒸留を活用して表現を整合させ、異種のデータ分布に起因する特徴量シフトおよびラベルシフトを緩和する。
• 既存のFL手法（例：FedAvg や FedProx）と統合可能であり、インフラデレーション学習に適用可能である。
• 実医療応用における時系列分類に適した、2層の畳み込み層、バッチ正則化、全結合層を備えたCNNベースのモデルが使用される。

Figure 1: Issues in meta federated learning.

実験結果

リサーチクエスチョン

• RQ1 中央サーバーや統治的機関への信頼を必要とせずに、独立したフェデレーション間でのフェデレーテッドラーニングを効果的に拡張できるか？
• RQ2 高いデータ非同一性を示すフェデレーション間で、共通知識を蓄積し、パーソナライズドモデルを学習できるか？
• RQ3 サイクル型知識蒸留は、実世界の医療応用において、既存のFL手法よりも精度および通信効率に優れているか？
• RQ4 医療時系列データにおける特徴量シフト（例：センサの違い）およびラベルシフト（例：データ分布の変化）の下で、MetaFedはどのように性能を発揮するか？
• RQ5 MetaFedは、モバイル型PD評価ツールのような実世界の医療システムに実用的に導入可能か？

主な発見

• パーキンソン病の振動検出において、MetaFedは平均87.42%の精度を達成し、同じベンチマークでFedAvg（71.31%）、FedProx（71.32%）、FedBN（80.94%）を上回った。
• PAMAP2データセットでは、ベースライン比で10%以上の精度向上を達成し、人間の活動認識において優れた性能を示した。
• PD振動アプリケーションでは、FedAvgより16.11%、FedBNより6.48%の精度向上を達成し、特に特徴量シフトの下でも優れた性能を発揮した。
• 最先端の手法と比較して、通信ラウンド数を削減し、通信コストを低減した。
• 疾患の有病率の変化などラベルシフトの下でも、FedBNが性能を発揮できない状況においても、MetaFedは高い精度を維持した。
• 実際のモバイルベースのパーキンソン病評価ツール（PDAssist）への応用に成功し、臨床現場での実用的妥当性を示した。

Figure 2: The structure of MetaFed for federated learning among federations. Stage I is the common knowledge accumulation stage where the model is sent after local training. Stage II is the personalization stage where the common knowledge model is sent before local training.