[論文レビュー] Fair Federated Medical Image Segmentation via Client Contribution Estimation

Meirui Jiang, Holger R. Roth+7 more|arXiv (Cornell University)|Mar 29, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、勾配空間およびデータ空間におけるクライアント寄与度の推定を通じて、協働の公平性とパフォーマンスの公平性を同時に最適化する、医療画像分類のための新規フェデレーテッドラーニング手法FedCEを提案する。補助モデルを用いて勾配方向の違いと予測誤差を統合し、これらの推定値を適応的集約重みとして用いることで、実世界の医療データセットにおいて優れた性能と耐性を発揮し、フリーライダーの検出も可能となる。

ABSTRACT

How to ensure fairness is an important topic in federated learning (FL). Recent studies have investigated how to reward clients based on their contribution (collaboration fairness), and how to achieve uniformity of performance across clients (performance fairness). Despite achieving progress on either one, we argue that it is critical to consider them together, in order to engage and motivate more diverse clients joining FL to derive a high-quality global model. In this work, we propose a novel method to optimize both types of fairness simultaneously. Specifically, we propose to estimate client contribution in gradient and data space. In gradient space, we monitor the gradient direction differences of each client with respect to others. And in data space, we measure the prediction error on client data using an auxiliary model. Based on this contribution estimation, we propose a FL method, federated training via contribution estimation (FedCE), i.e., using estimation as global model aggregation weights. We have theoretically analyzed our method and empirically evaluated it on two real-world medical datasets. The effectiveness of our approach has been validated with significant performance improvements, better collaboration fairness, better performance fairness, and comprehensive analytical studies.

研究の動機と目的

• フェデレーテッド医療画像分類における協働の公平性とパフォーマンスの公平性の二重的課題に取り組むこと。
• データ量やデータ分布の変化に影響されにくい、頑健なクライアント寄与度推定手法を開発すること。
• 寄与度推定値を用いて適応的グローバルモデル集約を実現するフェデレーテッドラーニングアルゴリズム（FedCE）を設計すること。
• 包括的な公平性および耐性分析を伴い、実世界の医療画像データセットを用いて手法の実証的検証を行うこと。
• 寄与度推定指標を用いて、トレーニングの初期段階でフリーライダークライアントを早期に検出すること。

提案手法

• ローカルモデルとグローバルモデルの更新における方向的差異を測定することで、勾配空間におけるクライアント寄与度を推定する。
• クライアントデータ上の予測誤差を、クライアントを除いた補助モデルを用いてデータ空間における寄与度を定量化する。
• 勾配空間とデータ空間の指標を乗法的または加法的戦略で統合し、包括的な寄与度スコアを形成する。
• 推定されたクライアント寄与度を、収束性と公平性の向上を目的としたグローバルモデル集約における適応的重みとして使用する。
• 理論的分析により、分布シフト下でも収束保証と耐性バウンドを確立する。
• 追加の計算負荷を回避するため、トレーニング中に自然に生成される勾配とモデル出力を活用する。

実験結果

リサーチクエスチョン

• RQ1 勾配空間とデータ空間の両方の寄与度推定を統合したクライアント寄与度推定は、フェデレーテッド医療画像分類における協働の公平性とパフォーマンスの公平性を向上させることができるか？
• RQ2 提案手法の寄与度推定指標は、データ分布のシフトやクライアントの非同一性に対してどれほど頑健か？
• RQ3 本手法は、トレーニングの初期段階でフリーライダークライアントを早期に検出できるか？
• RQ4 寄与度ベースの集約重みを用いることで、標準的なFL手法よりも優れたセグメンテーションパフォーマンスが得られるか？
• RQ5 個々の構成要素（勾配空間およびデータ空間指標）は、全体のパフォーマンスにどのように寄与しているか？

主な発見

• FedCEは、2つの実世界の医療画像分類データセットにおいて、セグメンテーション精度と公平性指標の両面で最先端のFL手法を顕著に上回る。
• 寄与度推定指標は、データ分布のシフトに対して高い頑健性を示し、1人のクライアントを除外しても値の変化が1%未満にとどまる。
• フリーライダークライアントは10トレーニングラウンド以内に高い信頼性で検出可能であり、早期検出能力を実証した。
• アブレーションスタディにより、勾配空間およびデータ空間の両指標が不可欠であることが確認され、片方の使用のみではパフォーマンスが低下する。
• 勾配空間とデータ空間の寄与度の組み合わせが優れたパフォーマンスをもたらし、前立腺画像分類のような低非同一性設定でもわずかだが一貫した向上が得られる。
• 理論的分析により、FedCEの収束性が確認され、分布シフト下での値の変化に上界が存在することが示され、耐性の妥当性が裏付けられた。