[论文解读] Federated Semi-supervised Medical Image Classification via Inter-client Relation Matching

Quande Liu, Hongzheng Yang+2 more|arXiv (Cornell University)|Jun 16, 2021

AI in cancer detection参考文献 29被引用 12

一句话总结

该论文提出了 FedIRM，这是首个用于医学图像分类的联邦半监督学习框架，通过利用跨客户端疾病关系匹配来提升模型性能，同时使用标注和未标注医院的数据。通过一种新颖的一致性正则化方案，在客户端之间对齐疾病关系矩阵，FedIRM 缓解了未标注客户端的任务知识衰减问题，在颅内出血分类任务上比 Fed-Consistency 提高了 2.73% 的 AUC，在皮肤病变诊断任务上提高了 1.33%。

ABSTRACT

Federated learning (FL) has emerged with increasing popularity to collaborate distributed medical institutions for training deep networks. However, despite existing FL algorithms only allow the supervised training setting, most hospitals in realistic usually cannot afford the intricate data labeling due to absence of budget or expertise. This paper studies a practical yet challenging FL problem, named extit{Federated Semi-supervised Learning} (FSSL), which aims to learn a federated model by jointly utilizing the data from both labeled and unlabeled clients (i.e., hospitals). We present a novel approach for this problem, which improves over traditional consistency regularization mechanism with a new inter-client relation matching scheme. The proposed learning scheme explicitly connects the learning across labeled and unlabeled clients by aligning their extracted disease relationships, thereby mitigating the deficiency of task knowledge at unlabeled clients and promoting discriminative information from unlabeled samples. We validate our method on two large-scale medical image classification datasets. The effectiveness of our method has been demonstrated with the clear improvements over state-of-the-arts as well as the thorough ablation analysis on both tasks\footnote{Code will be made available at \url{https://github.com/liuquande/FedIRM}}.

研究动机与目标

• 解决在医学图像分类中联邦半监督学习（FSSL）的挑战，其中大多数医院缺乏标注数据。
• 克服传统一致性正则化在 FSSL 中的局限性，即由于缺乏直接监督，无法在未标注客户端中保留任务知识。
• 通过利用医学图像数据中客户端不变的疾病关系结构，实现从标注客户端到未标注客户端的知识迁移。
• 开发一种稳健且保护隐私的框架，利用去中心化、部分标注的医学数据集提升模型泛化能力。

提出的方法

• 提出一种新颖的客户端间关系匹配（IRM）损失，用于对齐标注客户端与未标注客户端之间的疾病关系矩阵。
• 从标注客户端的预-Softmax 特征构建疾病关系矩阵，以捕捉结构化的任务知识。
• 利用基于不确定性的过滤机制，在未标注客户端上估计可靠的矩阵，以减少噪声伪标签的影响。
• 将 IRM 损失整合到一致性正则化框架中，确保在数据增强下预测的一致性，同时保留判别性任务知识。
• 采用 FedAvg 作为全局聚合策略，本地模型通过一致性正则化和 IRM 损失联合训练。
• 通过依赖与本地数据分布无关的关系矩阵，确保方法对非独立同分布（non-IID）数据分布具有鲁棒性。

实验结果

研究问题

• RQ1 跨客户端疾病关系匹配是否能提升联邦半监督医学图像分类中的模型性能？
• RQ2 所提出的 IRM 损失如何在基于一致性的训练过程中缓解未标注客户端的任务知识衰减？
• RQ3 在 FSSL 设置下，标注客户端与未标注客户端数量的变化对模型性能有何影响？
• RQ4 该方法是否能在不同医学影像任务和数据分布上实现泛化？

主要发现

• 在颅内出血分类任务中，FedIRM 比 Fed-Consistency 提高了 2.73% 的 AUC，证明了跨客户端关系匹配的有效性。
• 在皮肤病变诊断任务中，FedIRM 比 Fed-Consistency 提高了 1.33% 的 AUC，证实了在多样化医学影像任务中的一致性增益。
• 仅使用 40% 的标注客户端（10 个中 4 个），FedIRM 即达到 89.21% 的 AUC，接近 FedAvg 在 100% 标注数据下实现的上限 90.48%。
• 随着未标注客户端数量的增加，模型性能稳步提升，显示出良好的可扩展性，具备实际部署潜力。
• 消融实验表明，IRM 损失显著减少了标注与未标注客户端之间疾病关系矩阵的差异，有效保留了任务知识。
• 该方法在不同标注客户端数量和未标注客户端数量下均保持稳定性能，表明对数据不平衡和去中心化环境具有鲁棒性。