[論文レビュー] FedIIC: Towards Robust Federated Learning for Class-Imbalanced Medical Image Classification

Nannan Wu, Li Yu+3 more|arXiv (Cornell University)|Jun 28, 2022

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

FedIIC は、特徴学習と分類器キャリブレーションを共同最適化することで、医療画像分類におけるクラス不均衡問題を解決するプライバシー保護型フェデレーテッドラーニングフレームワークを提案する。2段階の対照的学習（クラス内およびクラス間クライアント間）を採用し、クラス固有の表現を向上させるとともに、困難さに応じたログィット調整により意思決定境界を動的にバランスさせる。実世界およびシミュレートされた医療データセットにおいて、バランス精度が顕著に向上し、最先端の性能を達成している。

ABSTRACT

Federated learning (FL), training deep models from decentralized data without privacy leakage, has shown great potential in medical image computing recently. However, considering the ubiquitous class imbalance in medical data, FL can exhibit performance degradation, especially for minority classes (e.g. rare diseases). Existing methods towards this problem mainly focus on training a balanced classifier to eliminate class prior bias among classes, but neglect to explore better representation to facilitate classification performance. In this paper, we present a privacy-preserving FL method named FedIIC to combat class imbalance from two perspectives: feature learning and classifier learning. In feature learning, two levels of contrastive learning are designed to extract better class-specific features with imbalanced data in FL. In classifier learning, per-class margins are dynamically set according to real-time difficulty and class priors, which helps the model learn classes equally. Experimental results on publicly-available datasets demonstrate the superior performance of FedIIC in dealing with both real-world and simulated multi-source medical imaging data under class imbalance. Code is available at https://github.com/wnn2000/FedIIC.

研究の動機と目的

• 少数派の疾患クラスが不足しており、正しく認識されないという、医療画像分類におけるフェデレーテッドラーニングにおける深刻なクラス不均衡問題に対処すること。
• 機関間で生データを共有しないプライバシー保護型 FL フレームワークを構築すること。
• グローバルモデル学習における属性バイアス（不均衡な背景属性によるもの）とクラスバイアス（事前確率の差によるもの）を同時に軽減すること。
• 分散型で複数のソースからの医療画像設定において、メジャリティクラスの精度を損なわずにマイナリティクラスの性能を向上させること。

提案手法

• 2段階の対照的学習を導入：クライアント内対照的学習は、各クライアントのローカルデータ内での特徴の識別性を向上させ、クライアント間対照的学習は、特徴の一致を図ることで一般化性能を向上させる。
• クラス事前確率に応じて温度スケジューリングを行う対照的損失を用いて特徴抽出器をキャリブレーションし、クラス間類似度を低減させ、表現品質を向上させる。
• 困難さに応じたログィット調整（DALA）機構により、リアルタイムのサンプルの困難さとクラス事前確率に基づき、分類器のログィットを動的に調整し、意思決定境界をバランスさせる。
• 対照的特徴学習と動的分類器キャリブレーションの両方のコンponentを統合的に統合した FL パイプライン内に組み込み、属性バイアスとクラスバイアスの両方を同時に低減する。
• 各ラウンドで全クライアントが参加するグローバルモデル集約戦略を採用し、異種で不均衡なデータソースにおいても、収束性を確保する。
• 標準的なディープラーニングバックボーンを用いて実装されており、既存の FL トレーニングプロトコルと互換性があり、臨床現場での実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グローバルクラス不均衡下における医療画像分類のフェデレーテッドラーニングにおいて、特徴学習と分類器キャリブレーションの共同最適化が性能向上に寄与するか？
• RQ2 データがグローバルに不均衡な状況下で、2段階の対照的学習（クライアント内およびクライアント間）が、強固でクラス固有の表現を学習するのにどの程度有効か？
• RQ3 サンプルの困難さとクラス事前確率に基づく動的ログィット調整が、より良い意思決定境界を形成し、マイナリティクラスの認識を向上させるか？
• RQ4 実世界およびシミュレートされた複数ソース・クラス不均衡医療画像データセットにおいて、FedIIC は最先端の手法と比較してどのように性能を発揮するか？

主な発見

• FedIIC は、評価されたすべてのデータセットで最高のバランス精度（BACC）を達成し、2番目に良い手法（CReFF）を、Real で3.99%、ISIC で7.32%、ICH で2.01%上回った。
• アブレーションスタディにより、クライアント内およびクライアント間対照的学習と DALA を併用した場合が最良の性能を示し、ISIC で BACC 78.84%、ICH で 84.22% を達成した。
• 温度パラメータ t=0.5（クラス事前確率に基づく）に設定した場合、t=0 と比較して性能が顕著に向上した。これは、動的温度スケジューリングの重要性を裏付けている。
• プロトタイプベクトルの直交化により、クラス間類似度が低下し、性能が向上した。適用した結果、BACC は 72.64% から 78.84% に上昇した。
• 困難さに応じたログィット調整（d=0.25）を導入すると、BACC は上昇するが、F1 はわずかに低下し、バランス精度と適合率／再現率の調和平均のトレードオフが確認された。
• 完全な FedIIC フレームワークは、ISIC で F1 スコア 78.05、ICH で 84.73 を達成し、すべての指標で一貫した改善を示した。