[論文レビュー] Towards the Practical Utility of Federated Learning in the Medical Domain

Seongjun Yang, Hyeonji Hwang+5 more|arXiv (Cornell University)|Jul 7, 2022

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

本稿は、縦断的電子健康記録（EHR）、皮膚がん画像、心電図信号の3つの実世界医療データセットを用いて、6つのFLアルゴリズムとハイブリッド手法（FedPxN）を評価することで、医療分野におけるフェデレーテッドラーニング（FL）の実用的ベンチマークを確立している。FedPxNは、最小限の試行錯誤で一貫した高いパフォーマンスを達成しており、頻繁なグローバルアップデートと増加するクライアント参加が、コストが高くなるにもかかわらずモデルの正確性を向上させることを示している。

ABSTRACT

Federated learning (FL) is an active area of research. One of the most suitable areas for adopting FL is the medical domain, where patient privacy must be respected. Previous research, however, does not provide a practical guide to applying FL in the medical domain. We propose empirical benchmarks and experimental settings for three representative medical datasets with different modalities: longitudinal electronic health records, skin cancer images, and electrocardiogram signals. The likely users of FL such as medical institutions and IT companies can take these benchmarks as guides for adopting FL and minimize their trial and error. For each dataset, each client data is from a different source to preserve real-world heterogeneity. We evaluate six FL algorithms designed for addressing data heterogeneity among clients, and a hybrid algorithm combining the strengths of two representative FL algorithms. Based on experiment results from three modalities, we discover that simple FL algorithms tend to outperform more sophisticated ones, while the hybrid algorithm consistently shows good, if not the best performance. We also find that a frequent global model update leads to better performance under a fixed training iteration budget. As the number of participating clients increases, higher cost is incurred due to increased IT administrators and GPUs, but the performance consistently increases. We expect future users will refer to these empirical benchmarks to design the FL experiments in the medical domain considering their clinical tasks and obtain stronger performance with lower costs.

研究の動機と目的

• 実際の医療現場、特に病院やITプロバイダーにおけるフェデレーテッドラーニング（FL）の導入に向けた実用的ガイダンスの欠如に対処すること。
• 病院間でのデータ非同一性を含む現実的な条件下で、複数のFLアルゴリズムのパフォーマンスを評価すること。
• 多様な医療データモダリティにおけるモデルアーキテクチャ、正規化手法、ローカルトレーニングエポック、コスト要因（電力、GPU、管理者）に関する実証的ベンチマークを提供すること。
• クロスシロFLにおけるモデルパフォーマンス、トレーニングコスト、スケーラビリティのトレードオフを評価すること。
• 臨床現場への導入に向けた試行錯誤を最小限に抑える、堅牢で汎用性の高いFL手法を同定すること。

提案手法

• 3つの実世界医療データセット（表形式のEHR（eICU）、皮膚画像（HAM10000）、ECG信号（PhysioNet））を用いて、6つの代表的なFLアルゴリズム（FedAvg、FedProx、FedBN、FedDyn、SCAFFOLD、FedPxN）を評価した。
• 各クライアントのデータを異なる機関（例：eICUでは別々の病院、HAM10000では異なる皮膚科クリニック）から取得することで、現実のデータ非同一性を確保した。
• 実験設定を標準化：固定された通信ラウンド数、変動するローカルエポック数、および2種類の正規化手法（レイヤー正規化（LN）とグループ正規化（GN））を比較した。
• FedProxの正則化とFedBNのバッチ正規化を組み合わせたハイブリッドアルゴリズムであるFedPxNを提案・評価し、データ非同一性へのロバストネスを向上させた。
• 6つの臨床的タスク（例：死亡予測、皮膚病変分類）におけるAUROCをパフォーマンス指標として測定し、電力消費量とクライアント数を用いてコストを定量化した。
• クライアント数（5〜30）と通信ラウンドの変動を用いたアブレーションスタディを実施し、スケーラビリティとコストパフォーマンスのトレードオフを評価した。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータ非同一性下で、構造的データ、画像、信号の多様な医療データモダリティにおいて、どのFLアルゴリズムが最も優れたパフォーマンスを示すか？
• RQ2 固定されたトレーニング予算下で、グローバルモデルの更新頻度がFLパフォーマンスに与える影響は何か？
• RQ3 参加クライアント数を増加させることで、モデルパフォーマンスと運用コストにどのような影響があるか？
• RQ4 異なる正規化手法（LN対GN）が、医療応用におけるFLの収束性と正確性に与える影響は何か？
• RQ5 ハイブリッドFLアルゴリズム（FedPxN）は、複数のモダリティとタスクにおいて、他の個別アルゴリズムを常に上回るか、同等のパフォーマンスを発揮できるか？

主な発見

• FedProxの正則化とFedBNのバッチ正規化を組み合わせたハイブリッドアルゴリズムであるFedPxNは、3つの医療モダリティすべてで、他のすべてのFLアルゴリズムと同等または優れたパフォーマンスを一貫して達成した。
• FedAvg や FedProx といったシンプルなFLアルゴリズムが、SCAFFOLD や FedDyn といったより複雑な手法よりも多くの設定で優れた性能を示した。これは、複雑さが必ずしも良い結果をもたらすわけではないことを示唆している。
• 固定されたトレーニングイテレーション数下で、頻繁なグローバルモデル更新がより良いパフォーマンスをもたらした。これは、通信頻度が重要なハイパーパrameterであることを示している。
• 参加クライアント数が増えるにつれてモデルパフォーマンスが単調に向上し、eICUの全30クライアントでトレーニングした際のAUROCが最高に達した。これは、データ多様性の恩恵を示している。
• FedPxNはFedBNよりわずかに高い電力消費量（3.401 kWh）を示したが、すべてのタスクと設定で最高またはほぼ最高のAUROCを達成しており、コスト効率の良い選択肢であると判明した。
• GNを用いて20名のクライアントでトレーニングした場合、FedProxとFedPxNのAUROCはそれぞれ67.15および66.79であり、異なるアルゴリズム設計にもかかわらず、トップ手法間の性能差は最小限に抑えられていた。