[论文解读] MEDIAR: Harmony of Data-Centric and Model-Centric for Multi-Modality Microscopy

Gihun Lee, Sangmook Kim+2 more|arXiv (Cornell University)|Dec 7, 2022

Cell Image Analysis Techniques被引用 16

一句话总结

MEDIAR 通过统一数据驱动与模型驱动策略，提出了一套针对多模态显微镜图像的鲁棒细胞实例分割统一框架。其在 NeurIPS 2022 细胞分割挑战赛验证集上实现了 0.9067 的 F1 分数，通过全面预训练、模态平衡、双头模型架构以及随机测试时增强推理策略，在严格的时间预算约束下保持高性能。

ABSTRACT

Cell segmentation is a fundamental task for computational biology analysis. Identifying the cell instances is often the first step in various downstream biomedical studies. However, many cell segmentation algorithms, including the recently emerging deep learning-based methods, still show limited generality under the multi-modality environment. Weakly Supervised Cell Segmentation in Multi-modality High-Resolution Microscopy Images was hosted at NeurIPS 2022 to tackle this problem. We propose MEDIAR, a holistic pipeline for cell instance segmentation under multi-modality in this challenge. MEDIAR harmonizes data-centric and model-centric approaches as the learning and inference strategies, achieving a 0.9067 F1-score at the validation phase while satisfying the time budget. To facilitate subsequent research, we provide the source code and trained model as open-source: https://github.com/Lee-Gihun/MEDIAR

研究动机与目标

• 为解决在不同显微镜模态（包括成像技术、组织类型、染色方式和细胞形态差异）下细胞实例分割模型泛化能力差的挑战。
• 开发一个单一的通用模型，在无需依赖模态特定标注的情况下，能在异质性的多模态显微镜数据集上保持一致的高性能表现。
• 通过整合数据驱动策略（如通过重放的知识蒸馏和潜在模态平衡）与模型驱动创新（如网络架构与推理策略），提升模型的鲁棒性与效率。
• 在满足高分辨率图像推理严格时间预算约束的前提下，保持在多样化成像条件下的高性能表现。
• 发布开源代码与训练好的模型，以加速生物医学图像分析领域的未来研究。

提出的方法

• MEDIAR 在多样化数据集上进行大规模预训练，并在微调阶段采用知识重放策略，以保留对先前数据的性能并防止灾难性遗忘。
• 通过识别低资源模态并增强其样本，实现训练过程中潜在模态分布的发现与平衡，从而提升泛化能力。
• 模型架构采用两个独立分支：一个用于细胞区域识别，另一个用于实例级别区分，从而实现对单个细胞的精确分割。
• 针对高分辨率图像推理，MEDIAR 采用随机测试时增强策略，并结合集成预测方法，以提升鲁棒性，同时在时间预算内保持推理速度。
• 该方法未使用无标签数据；相反，其评估并排除了三种半监督技术（一致性正则化、重构损失与伪标签法），因这些方法导致性能下降。
• 该框架在时间容差约束下进行评估，该容差随图像分辨率动态调整，确保实际部署可行性。

实验结果

研究问题

• RQ1 是什么因素导致细胞分割模型在多模态显微镜图像中泛化能力差？
• RQ2 在低资源、多模态设置下，数据驱动策略（如知识重放与模态平衡）如何改善模型泛化能力？
• RQ3 具有双头架构的单一统一模型在跨模态细胞实例分割任务中，相较于特定任务或特定模态的模型，能多大程度上实现性能超越？
• RQ4 在高分辨率成像中，随机测试时增强与集成推理是否能在严格时间预算约束下维持高性能？
• RQ5 该模型的关键失败模式是什么？如何通过先验知识或改进的数据整理加以缓解？

主要发现

• MEDIAR 在 NeurIPS 2022 细胞分割挑战赛验证集上取得了 0.9067 的 F1 分数，优于基线方法，展现出在多样化显微镜模态下的强大泛化能力。
• 微调阶段使用知识重放显著提升了模型稳定性，并增强了对先前数据的性能保持能力。
• 潜在模态发现与平衡策略有效提升了对低资源模态的性能，缩小了不同成像类型之间的性能差距。
• 双头模型架构成功将细胞区域检测与实例级别区分任务分离，从而提升了分割精度。
• 结合随机测试时增强与集成推理策略，使 MEDIAR 能够在大尺寸图像上实现高精度预测，且始终满足时间预算限制，即使图像像素数超过一百万。
• 尽管性能优异，MEDIAR 在极小细胞、模糊或污染区域以及不规则形状细胞上仍表现不佳，表明未来改进空间。