[論文レビュー] Federated Cross Learning for Medical Image Segmentation

Xuanang Xu, Deng, Hannah H.+7 more|arXiv (Cornell University)|Apr 5, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、非独立同分布（non-i.i.d.）データにおける性能劣化を軽減するために、クライアントをラウンドロビン方式で順次訓練するモデル集約を不要とする医療画像セグメンテーション向けのフェデレーテッドラーニング（FL）フレームワーク、Federated Cross Learning（FedCross）を提案する。FedCrossEnsというアンサンブル拡張版は、集中学習と同等のセグメンテーション精度を達成し、ピクセル単位の不確実性マップを提供することで、臨床的有用性を高めつつ、モデル平均化に起因する不安定性を回避する。

ABSTRACT

Federated learning (FL) can collaboratively train deep learning models using isolated patient data owned by different hospitals for various clinical applications, including medical image segmentation. However, a major problem of FL is its performance degradation when dealing with data that are not independently and identically distributed (non-iid), which is often the case in medical images. In this paper, we first conduct a theoretical analysis on the FL algorithm to reveal the problem of model aggregation during training on non-iid data. With the insights gained through the analysis, we propose a simple yet effective method, federated cross learning (FedCross), to tackle this challenging problem. Unlike the conventional FL methods that combine multiple individually trained local models on a server node, our FedCross sequentially trains the global model across different clients in a round-robin manner, and thus the entire training procedure does not involve any model aggregation steps. To further improve its performance to be comparable with the centralized learning method, we combine the FedCross with an ensemble learning mechanism to compose a federated cross ensemble learning (FedCrossEns) method. Finally, we conduct extensive experiments using a set of public datasets. The experimental results show that the proposed FedCross training strategy outperforms the mainstream FL methods on non-iid data. In addition to improving the segmentation performance, our FedCrossEns can further provide a quantitative estimation of the model uncertainty, demonstrating the effectiveness and clinical significance of our designs. Source code is publicly available at https://github.com/DIAL-RPI/FedCross.

研究の動機と目的

• 病院間で非独立同分布（non-i.i.d.）なデータが存在する医療画像セグメンテーションにおけるフェデレーテッドラーニング（FL）の性能劣化を是正すること。
• FedAvgおよびその変種におけるモデル平均化の限界を克服し、勾配の不一致に起因する部分的最適解を回避すること。
• 異種医療画像データにおける安定性とパフォーマンスの向上を図るため、パラメータ集約を回避するトレーニング戦略の開発。
• 臨床意思決定支援のための不確実性推定を可能にすることで、モデルの信頼性を向上させること。
• 分散機関間のデータプライバシーを保持しつつ、集中学習と同等のパフォーマンスを達成すること。

提案手法

• ラウンドロビン方式でクライアントを順次トレーニングする、モデル集約を不要とする新規なFL戦略であるFedCrossを提案する。
• 1人のクライアントのモデルを1度に1つずつトレーニングすることで、局所モデルパラメータの平均化を回避し、非i.i.d.データに起因する誤差拡大を低減する。
• 複数のFedCrossモデルを並列にトレーニングし、予測を統合することで精度と不確実性推定を向上させるアンサンブル手法であるFedCrossEnsを導入する。
• アンサンブル学習を活用して、生データを共有せずに集中学習の性能を近似する。
• アンサンブル分散から導出される不確実性マップを用いて、予測の信頼性を定量化し、臨床的バリデーションワークフローを支援する。
• 理論的分析により、FedAvgにおけるモデル平均化が非i.i.i.d.条件下で誤差を拡大することを明らかにし、集約フリー設計の動機付けを示す。

実験結果

リサーチクエスチョン

• RQ1 非i.i.i.d.医療画像データ分布下で、FedAvgにおけるモデル平均化はどのように性能を劣化させるか？
• RQ2 モデル集約を回避するフェデレーテッドトレーニング戦略は、非i.i.i.d.医療画像セグメンテーションタスクでより優れたパフォーマンスを達成できるか？
• RQ3 FedCrossのような集約フリー手法は、プライバシー保護環境下で集中学習の精度を維持または上回ることができるか？
• RQ4 FedCrossEnsは、セグメンテーション出力の信頼性の高い不確実性推定を提供できるか？ これにより臨床的信頼性と有用性が向上するか？
• RQ5 局所トレーニングエポック数の増加が、集約ありと集約なしのFL手法の安定性およびパフォーマンスに与える影響は何か？

主な発見

• FedCrossは、PROMISE12データセットで90.77±2.47のDiceスコアを達成し、非i.i.i.d.条件下でFedAvg、FedProx、FedBNを上回った。
• FedCrossEnsはテストセットで88.73のDiceスコアを達成し、集中学習の90.66に非常に近い性能を示した。
• FedCrossEnsが生成した不確実性マップは、図4に示すように、臨床的に有用なピクセル単位の信頼性推定を提供した。
• 局所トレーニングエポック数を1から16に増加させた際、FedCrossは集約あり手法（例：FedAvg、FedProx、FedBN）と比較して性能劣化が少なく、安定性を確認した。
• 小規模サンプルサイズ（19、30、48例）のデータセットでは、すべてのFL手法が局所トレーニングを大幅に上回り、知識移転の効率性を示した。
• アブレーションスタディにより、FedCrossにおけるモデル集約の欠如が、特に高水準の局所トレーニングエポック数下で誤差拡大を低減することが確認された。