[論文レビュー] FedHealth 2: Weighted Federated Transfer Learning via Batch Normalization for Personalized Healthcare

Yiqiang Chen, Lu Wang+2 more|arXiv (Cornell University)|Jun 2, 2021

Privacy-Preserving Technologies in Data参考文献 16被引用数 5

ひとこと要約

FedHealth 2 は、ローカルのバッチ正規化を保持し、事前学習モデルを用いたクライアント類似度推定により、非 i.i.d. でドメインシフトが生じるデータ下でも、プライバシーを保ちつつパーソナライズドヘルスケアモデルを改善する重み付きフェデレーテッド転移学習フレームワークを提案する。FedAvg より最大10%高い精度を達成し、20ラウンド以内に収束する。FedBN や FedPer より顕著に優れており、データプライバシーも維持する。

ABSTRACT

The success of machine learning applications often needs a large quantity of data. Recently, federated learning (FL) is attracting increasing attention due to the demand for data privacy and security, especially in the medical field. However, the performance of existing FL approaches often deteriorates when there exist domain shifts among clients, and few previous works focus on personalization in healthcare. In this article, we propose FedHealth 2, an extension of FedHealth \cite{chen2020fedhealth} to tackle domain shifts and get personalized models for local clients. FedHealth 2 obtains the client similarities via a pretrained model, and then it averages all weighted models with preserving local batch normalization. Wearable activity recognition and COVID-19 auxiliary diagnosis experiments have evaluated that FedHealth 2 can achieve better accuracy (10%+ improvement for activity recognition) and personalized healthcare without compromising privacy and security.

研究の動機と目的

• 医療応用におけるドメインシフトおよび非 i.i.d. データによるフェデレーテッドラーニングの性能低下を是正すること。
• 生データの共有を避けながら、個々のクライアント向けのパーソナライズドモデル学習を可能にし、プライバシーやセキュリティを維持すること。
• クライアント類似度重み付けとローカルバッチ正規化の保持を統合することで、収束速度とモデル精度を向上させること。
• FedHealth を拡張し、実世界の医療シナリオにおけるラベルシフトおよび特徴量シフトを処理できるようにすること。この際、データ共有を最小限に抑えること。
• ウェアラブル活動認識や疾患診断などの多様な医療タスクに適用可能な、強固で拡張性のあるフレームワークを開発すること。

提案手法

• クライアント間の分布的距離を定量化するために、事前学習モデルの出力から得られる統計的特徴を用いてクライアント類似度を推定する。
• クライアント類似度スコアを用いて重み付き集約戦略を採用し、集約プロセスにおいて類似度の高いクライアントを優先する。
• クライアント間での特徴量分布シフトを緩和するために、トレーニング中にローカルバッチ正規化統計を保持する。
• モデルパラメータの交換と暗号化を実施し、通信中のデータ漏洩を防ぎ、プライバシーを確保する。
• 事前学習モデルが利用できない場合の対応として、FedBN を用いた類似度推定をサポートし、低データ環境下での展開を可能にする。
• 各クライアントで局所的にモーメンタムベースの最適化更新を適用し、モデルのパーソナライズ性と安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、パーソナライズドヘルスケア応用におけるドメインシフトおよび非 i.i.d. データをどのように改善できるか？
• RQ2 特徴量分布のシフト下でも、ローカルバッチ正規化を保持することで、モデル性能がどの程度向上するか？
• RQ3 事前学習モデルを用いたクライアント類似度推定は、フェデレーテッドヘルスケアシステムにおけるより良いモデル集約とより速い収束をもたらすか？
• RQ4 クライアント類似度に基づく重み付き集約は、均一または非重み付き集約と比較して、精度およびロバスト性においてどの程度優れているか？
• RQ5 ローカルエポック数、クライアント数、重み係数 λ などのハイパーパrameter が収束および性能に与える影響は何か？

主な発見

• ウェアラブル活動認識タスクにおいて、FedHealth 2 は FedAvg より10%以上の精度向上を達成し、非 i.i.i.d. データ下でも顕著な性能向上を示した。
• PAMAP2 データセットでは、FedHealth 2 は平均94.82%の精度を達成し、パーソナライズドラーニングにおいて FedPer（88.51%）と FedBN（86.48%）を上回った。
• COVID-19補助診断タスクでは、FedHealth 2 は平均94.97%の精度を達成し、クラス数が少なく、データ量も限られる状況でも優れた性能を示した。
• FedHealth 2 は20ラウンド以内に収束するが、FedBN は400ラウンド以上を要するため、収束速度の顕著な改善が確認された。
• アブレーションスタディの結果、クライアント類似度に基づく重み付けとローカルバッチ正規化の保持の両方が性能向上に寄与しており、特に重み付けの影響が顕著であった。
• パラメータ感度分析の結果、FedHealth 2 はローカルエポック数、クライアント数、λ の変動に対して頑健であり、精度への影響はわずかで、収束速度への影響も限定的であった。