[論文レビュー] Federated Semi-supervised Medical Image Classification via Inter-client Relation Matching

Quande Liu, Hongzheng Yang+2 more|arXiv (Cornell University)|Jun 16, 2021

AI in cancer detection参考文献 29被引用数 12

ひとこと要約

本稿では、ラベル付きおよびラベルなし病院の両方のデータを活用してモデル性能を向上させる、医療画像分類のためのフェデレーテッド半教師付き学習フレームワークであるFedIRMを提案する。ラベルなしクライアントにおけるタスク知識の減少を軽減するため、クライアント間の疾患関係マトリクスを一貫性正則化スキームを用いて一致させる。FedIRMは、頭内出血分類においてFed-ConsistencyよりもAUCが2.73%高く、皮膚病変診断においても1.33%高い性能を達成した。

ABSTRACT

Federated learning (FL) has emerged with increasing popularity to collaborate distributed medical institutions for training deep networks. However, despite existing FL algorithms only allow the supervised training setting, most hospitals in realistic usually cannot afford the intricate data labeling due to absence of budget or expertise. This paper studies a practical yet challenging FL problem, named extit{Federated Semi-supervised Learning} (FSSL), which aims to learn a federated model by jointly utilizing the data from both labeled and unlabeled clients (i.e., hospitals). We present a novel approach for this problem, which improves over traditional consistency regularization mechanism with a new inter-client relation matching scheme. The proposed learning scheme explicitly connects the learning across labeled and unlabeled clients by aligning their extracted disease relationships, thereby mitigating the deficiency of task knowledge at unlabeled clients and promoting discriminative information from unlabeled samples. We validate our method on two large-scale medical image classification datasets. The effectiveness of our method has been demonstrated with the clear improvements over state-of-the-arts as well as the thorough ablation analysis on both tasks\footnote{Code will be made available at \url{https://github.com/liuquande/FedIRM}}.

研究の動機と目的

• 大多数の病院がラベルデータを持たない医療画像分類におけるフェデレーテッド半教師付き学習（FSSL）の課題に対処すること。
• 従来の一貫性正則化が、直接的な監視が欠如しているため、ラベルなしクライアントにおけるタスク知識の保持に失敗するという限界を克服すること。
• 医療画像データに内在するクライアントに依存しない疾患関係構造を活用して、ラベル付きクライアントからラベルなしクライアントへの知識伝達を可能にすること。
• 分散型で部分的にラベル付けされた医療データセットを用いて、モデルの一般化性能を向上させる、強固でプライバシーを守るフレームワークの構築

提案手法

• ラベル付きクライアントとラベルなしクライアント間の疾患関係マトリクスを一致させるための新規なクライアント間関係マッチング（IRM）損失を提案する。
• ラベル付きクライアントにおけるpre-softmax特徴量から疾患関係マトリクスを構築し、構造的タスク知識を捉える。
• ノイズの多い疑似ラベルを低減するために、不確実性に基づくフィルタリング機構を用いて、ラベルなしクライアントにおける信頼性の高い関係マトリクスを推定する。
• IRM損失を一貫性正則化フレームワークに統合し、データオーグメンテーション下での予測の一貫性を強制するとともに、判別的タスク知識を保持する。
• グローバルな集約戦略としてFedAvgを用い、ローカルモデルは一貫性正則化とIRM損失の両方を用いて訓練する。
• ローカルデータ分布に依存しない関係マトリクスに依存することで、非IIDデータ分布に対しても強健であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間の疾患関係マッチングは、フェデレーテッド半教師付き医療画像分類におけるモデル性能を向上させ得るか？
• RQ2 提案されたIRM損失は、一貫性ベースの学習中にラベルなしクライアントにおけるタスク知識の減少をどのように軽減するか？
• RQ3 ラベル付きクライアントとラベルなしクライアントの数を変化させた場合、FSSL設定におけるモデル性能にどのような影響を与えるか？
• RQ4 本手法は、異なる医療画像タスクおよびデータ分布に一般化可能か？

主な発見

• 頭内出血分類において、FedIRMはFed-ConsistencyよりもAUCが2.73%高い性能を達成し、クライアント間関係マッチングの有効性を示した。
• 皮膚病変診断においても、FedIRMはFed-Consistencyを1.33%上回るAUCを達成し、多様な医療画像タスクにわたる一貫した向上効果を確認した。
• ラベル付きクライアントが40%（10人中4人）の状況でも、FedIRMは89.21%のAUCを達成し、100%ラベル付きデータで得られるFedAvgの上限値90.48%に近づいた。
• ラベルなしクライアントの数が増加するにつれてモデル性能が着実に向上し、実運用へのスケーラビリティと高い潜在的価値を示した。
• アブレーションスタディにより、IRM損失がラベル付きクライアントとラベルなしクライアントの疾患関係マトリクスの乖離を顕著に低減し、タスク知識の保持に寄与することが確認された。
• 異なるラベル付きクライアント数やラベルなしクライアント数の条件下でも、安定した性能を維持したため、データの不均衡や分散性に対しても強健であることが示された。