[論文レビュー] Multi-site Organ Segmentation with Federated Partial Supervision and Site Adaptation

Pengbo Liu, Mengke Sun+1 more|arXiv (Cornell University)|Feb 8, 2023

Medical Imaging and Analysis被引用数 4

ひとこと要約

本論文は、複数の医療機関向けに部分的ラベル付きデータを用いた二段階のフェデレーテッドラーニングフレームワークを提案する。まず、『知識の衝突』を解消するための新しい損失関数設計を用いて、複数の施設間で部分的ラベル付きデータを統合的に学習することで、統一された多臓器モデルを訓練する。次に、各施設ごとにファインチューニングを用いてこのモデルを適応させる。本手法は、データ共有を一切行わず、プライバシーを保持したまま、中央集約型で訓練されたモデルと同等の性能を達成する。

ABSTRACT

Objective and Impact Statement: Accurate organ segmentation is critical for many clinical applications at different clinical sites, which may have their specific application requirements that concern different organs. Introduction: However, learning high-quality, site-specific organ segmentation models is challenging as it often needs on-site curation of a large number of annotated images. Security concerns further complicate the matter. Methods: The paper aims to tackle these challenges via a two-phase aggregation-then-adaptation approach. The first phase of federated aggregation learns a single multi-organ segmentation model by leveraging the strength of 'bigger data', which are formed by (i) aggregating together datasets from multiple sites that with different organ labels to provide partial supervision, and (ii) conducting partially supervised learning without data breach. The second phase of site adaptation is to transfer the federated multi-organ segmentation model to site-specific organ segmentation models, one model per site, in order to further improve the performance of each site's organ segmentation task. Furthermore, improved marginal loss and exclusion loss functions are used to avoid 'knowledge conflict' problem in a partially supervision mechanism. Results and Conclusion: Extensive experiments on five organ segmentation datasets demonstrate the effectiveness of our multi-site approach, significantly outperforming the site-per-se learned models and achieving the performance comparable to the centrally learned models.

研究の動機と目的

• プライバシーおよびセキュリティ上の制約により、大規模なアノテート済みデータが入手できない状況下で、高品質な施設特化型臓器セグメンテーションモデルを訓練する課題に対処すること。
• 複数の臨床施設間で、生の医療画像を共有せずに協調的なモデル学習を可能にし、データプライバシーを保護すること。
• 異なる施設間でラベル付けが一貫していない部分的ラベル付き多臓器セグメンテーションにおいて生じる『知識の衝突』問題を解消すること。
• グローバルに訓練されたフェデレーテッドモデルを、局所的なデータ分布に適応させることで、施設特化型のセグメンテーション性能を向上させること。
• 部分的ラベル付きフェデレーテッドラーニングを用いた、スケーラブルでプライバシーを守る多臓器セグメンテーションのフレームワークを構築すること。

提案手法

• 二段階の手法を提案する：(1) 複数の施設から部分的ラベル付きデータセットをフェデレーテッドに集約し、統一された多臓器セグメンテーションモデルを学習する。そして (2) 各施設ごとに性能を向上させるために、モデルを適応させる。
• 部分的ラベル付き学習における『知識の衝突』を軽減するため、マージナル損失関数と除外損失関数を導入し、ある施設の前景オブジェクトが他の施設の背景に干渉しないように保証する。
• 部分的ラベル付き学習下でも頑健に学習できるように、Dice、クロスエントロピー、フォーカル、Top-K、およびLovasz損失関数（それぞれマージナルおよび除外バージョンを含む）を組み合わせて使用する。
• モデル集約にフェデレーテッド・アベレージング（FedAvg）を採用し、クライアントが局所的に学習し、更新された重みを中央サーバーに送信することでグローバルモデルを更新する。このプロトコルにより、データが局所施設を離れることを防ぐ。
• 施設適応のための3種類のファインチューニング戦略（完全ファインチューニング、エンコーダーの固定、デコーダーの固定）を適用し、グローバルモデルを局所的なデータ分布に適合させる。
• クライント・サーバー型のフェデレーテッドラーニング（FL）アーキテクチャを採用し、モデル平均化を実施。各クライアントは、検証性能に基づいて自身の最良の局所モデルを選択する。

Figure 1: CT images of different partially labeled datasets for different tasks at different clinical sites. The red, green, blue, yellow, and cyan color represent liver, spleen, pancreas, right kidney, and left kidney, respectively.

実験結果

リサーチクエスチョン

• RQ1 複数の臨床施設で部分的ラベル付きデータを用いて、『知識の衝突』を回避しながら、一括した多臓器セグメンテーションモデルを効果的に学習できるか？
• RQ2 異なったラベル付けや画像取得プロトコルを持つ複数の機関間で、共通のセグメンテーションモデルを訓練する際、どのようにしてデータプライバシーを保護できるか？
• RQ3 グローバルに訓練されたフェデレーテッドモデルは、どの程度、施設特化型の臓器セグメンテーションタスクにおいて性能向上に寄与できるか？
• RQ4 多臓器セグメンテーションにおける施設適応において、どのファインチューニング戦略（完全、エンコーダー固定、デコーダー固定）が最も優れた性能を発揮するか？
• RQ5 提案された損失設計は、多施設環境下での部分的ラベル付き学習に起因する性能低下を効果的に低減するか？

主な発見

• 提案されたフェデレーテッド多臓器セグメンテーションモデルは、各データセットに対して個別に学習されたモデルよりも顕著に優れた性能を示し、協調学習の利点を実証した。
• データが一切共有されず、各施設でのラベル付けも部分的であるにもかかわらず、中央集約型で訓練されたモデルと同等の性能を達成した。
• マージナル損失と除外損失の組み合わせが、部分的ラベル付き多臓器セグメンテーションにおける『知識の衝突』問題を効果的に軽減した。
• ファインチューニングによる施設適応により、個々の施設におけるセグメンテーション性能がさらに向上し、特にエンコーダー固定または完全ファインチューニング戦略で最良の結果が得られた。
• 本手法は、5つの異なる臓器セグメンテーションデータセットにおいても強力な汎化性能を示し、その頑健性とスケーラビリティを確認した。
• アブレーションスタディの結果、マージナル損失と除外損失の両方が、特にラベル付けの不一致に対処する上で顕著な性能向上に寄与していることが確認された。

Figure 2: Visualization of the segmentation results of our proposed method and other SOTA methods.