[论文解读] Federated Semi-Supervised Learning for COVID Region Segmentation in Chest CT using Multi-National Data from China, Italy, Japan

Dong Yang, Ziyue Xu+18 more|arXiv (Cornell University)|Nov 23, 2020

COVID-19 diagnosis using AI参考文献 61被引用 11

一句话总结

本文提出了一种联邦半监督学习框架，用于使用来自中国、意大利和日本的多国数据，对3D胸部CT扫描中的新冠肺炎感染区域进行分割。通过在不共享原始数据的情况下实现跨机构的协作模型训练——利用各机构的标注和未标注扫描数据——该方法在提升模型泛化能力的同时保护了隐私，其性能优于采用集中式数据共享的传统监督方法。

ABSTRACT

The recent outbreak of COVID-19 has led to urgent needs for reliable diagnosis and management of SARS-CoV-2 infection. As a complimentary tool, chest CT has been shown to be able to reveal visual patterns characteristic for COVID-19, which has definite value at several stages during the disease course. To facilitate CT analysis, recent efforts have focused on computer-aided characterization and diagnosis, which has shown promising results. However, domain shift of data across clinical data centers poses a serious challenge when deploying learning-based models. In this work, we attempt to find a solution for this challenge via federated and semi-supervised learning. A multi-national database consisting of 1704 scans from three countries is adopted to study the performance gap, when training a model with one dataset and applying it to another. Expert radiologists manually delineated 945 scans for COVID-19 findings. In handling the variability in both the data and annotations, a novel federated semi-supervised learning technique is proposed to fully utilize all available data (with or without annotations). Federated learning avoids the need for sensitive data-sharing, which makes it favorable for institutions and nations with strict regulatory policy on data privacy. Moreover, semi-supervision potentially reduces the annotation burden under a distributed setting. The proposed framework is shown to be effective compared to fully supervised scenarios with conventional data sharing instead of model weight sharing.

研究动机与目标

• 解决由于机构间数据异质性导致的深度学习模型在新冠肺炎CT图像分析中出现的领域偏移问题。
• 通过在不传输敏感患者数据的前提下实现协作，克服数据共享限制和标注稀缺问题。
• 通过利用多国提供的标注和未标注扫描数据，采用半监督学习降低标注负担。
• 通过结合多国数据的联邦学习，提升模型在不同人群、成像协议和设备下的鲁棒性和泛化能力。
• 证明即使非新冠肺炎数据集也能通过领域感知表示学习帮助识别假阳性，从而对模型训练产生贡献。

提出的方法

• 采用联邦学习（FL）在三个国际机构（中国、意大利、日本）之间训练深度神经网络，无需共享原始CT扫描数据。
• 通过联合训练标注扫描（由专家放射科医生标注的945例）和未标注扫描（共759例）来整合半监督学习方法，数据来自同一多国队列。
• 在未标注数据上使用对比自监督学习目标，以改善特征表示和模型泛化能力。
• 实施客户端-服务器联邦学习通信协议，仅交换模型权重和梯度，从而保护数据隐私。
• 采用多分支网络架构，包含共享编码器和特定任务的输出头，以同时处理分割和自监督目标。
• 通过调整聚合频率（每5、10、20、40个epoch）优化通信效率，以在性能与带宽限制之间取得平衡。

实验结果

研究问题

• RQ1 当数据分布在多个具有不同数据质量和标注可用性的国家时，联邦半监督学习是否能有效提升对胸部CT中新冠肺炎感染区域的分割性能？
• RQ2 包含非新冠肺炎机构（如日本的非新冠肺炎数据集）的未标注数据，对模型泛化能力和假阳性减少有何影响？
• RQ3 在联邦学习中，为平衡监督客户端和自监督客户端的性能，最优聚合频率是多少？
• RQ4 在仅使用一个国家的有限标注数据进行训练时，模型在其他具有不同成像协议和患者人口统计特征的国家中，其泛化能力有多强？
• RQ5 隐私保护的联邦框架是否能在跨领域模型鲁棒性和泛化能力方面优于传统的集中式数据共享训练方法？

主要发现

• 所提出的联邦半监督学习框架在泛化性能方面优于使用集中式数据共享训练的完全监督模型，即使仅55%的数据被标注。
• 在无标注的客户端（无任何标注）上，更频繁的模型聚合（每5个epoch）显著提升了性能，表明自监督学习从频繁的权重同步中获益。
• 模型对领域偏移表现出鲁棒性：即使在单一国家的数据上进行训练，也能很好地泛化到其他具有不同成像协议和患者人口统计特征的国家的扫描数据。
• 引入非新冠肺炎数据集（来自日本）提升了模型识别假阳性能力，表明领域感知表示学习可增强特异性。
• 消融研究证实，提高聚合频率可提升自监督客户端的训练稳定性和性能，尽管对监督客户端性能造成轻微损失。
• 3D可视化结果证实，该模型能准确分割双侧、多肺叶分布的磨玻璃影和实变，其表现与临床新冠肺炎影像学特征一致。