[论文解读] ConCORDe-Net: Cell Count Regularized Convolutional Neural Network for Cell Detection in Multiplex Immunohistochemistry Images

Yeman Brhane Hagos, Priya Narayanan+3 more|arXiv (Cornell University)|Aug 1, 2019

AI in cancer detection参考文献 12被引用 4

一句话总结

ConCORDe-Net 是一种用于乳腺癌多重免疫组织化学（mIHC）全切片图像中细胞检测与分类的新型卷积神经网络。它将细胞计数损失函数与 Dice 重叠优化相结合，以提升对紧密排列及弱染色细胞的检测效果，F1 分数达到 0.873，分类准确率达到 96.5%，优于当前最先进方法。

ABSTRACT

In digital pathology, cell detection and classification are often prerequisites to quantify cell abundance and explore tissue spatial heterogeneity. However, these tasks are particularly challenging for multiplex immunohistochemistry (mIHC) images due to high levels of variability in staining, expression intensity, and inherent noise as a result of preprocessing artefacts. We proposed a deep learning method to detect and classify cells in mIHC whole-tumour slide images of breast cancer. Inspired by inception-v3, we developed Cell COunt RegularizeD Convolutional neural Network (ConCORDe-Net) which integrates conventional dice overlap and a new cell count loss function for optimizing cell detection, followed by a multi-stage convolutional neural network for cell classification. In total, 20447 cells, belonging to five cell classes were annotated by experts from 175 patches extracted from 6 whole-tumour mIHC images. These patches were randomly split into training, validation and testing sets. Using ConCORDe-Net, we obtained a cell detection F1 score of 0.873, which is the best score compared to three state of the art methods. In particular, ConCORDe-Net excels at detecting closely located and weakly stained cells compared to other methods. Incorporating cell count loss in the objective function regularizes the network to learn weak gradient boundaries and separate weakly stained cells from background artefacts. Moreover, cell classification accuracy of 96.5% was achieved. These results support that incorporating problem-specific knowledge such as cell count into deep learning-based cell detection architectures improve the robustness of the algorithm.

研究动机与目标

• 为解决在数字病理学中常见的多重免疫组织化学（mIHC）图像中检测弱染色及紧密排列细胞的挑战。
• 通过将问题特定知识（即细胞计数）整合到深度学习目标函数中，提升 mIHC 中细胞检测的鲁棒性。
• 开发一种统一框架，用于在 mIHC 全切片图像中实现细胞检测与多类别分类的同步处理。
• 减少对固定超参数（如卷积核大小或细胞大小）的依赖，实现对多样化细胞形态的检测。
• 提升对细微形态学与染色差异的检测能力，尤其针对标记强度低或边界重叠的细胞。

提出的方法

• ConCORDe-Net 受启发于 Inception-v3，采用多阶段架构，结合特征提取与回归以实现细胞检测。
• 通过阈值化欧几里得距离（r = 4 像素）从点标注生成细胞伪分割图，确保细胞区域不重叠。
• 网络采用混合损失函数，结合 Dice 重叠与一种新型细胞计数损失，以正则化弱染色及紧密排列细胞的检测。
• 细胞计数模块为包含 4 个卷积层与最大池化操作的网络，后接两个全连接层，用于回归图像块中的总细胞数。
• 通过阈值化概率图进行细胞检测，随后进行形态学孔洞填充与连通组件分析，以定位细胞中心。
• 采用两阶段分类流程，使用独立分类器（classifier1 和 classifier2）基于 pSTAT 与 GAL8 表达水平区分五种细胞类型，级联输出实现最终分类。

实验结果

研究问题

• RQ1 与标准的基于 Dice 的损失函数相比，引入细胞计数正则化损失是否能提升 mIHC 图像中弱染色及紧密排列细胞的检测效果？
• RQ2 将问题特定知识（细胞计数）整合到模型目标函数中，如何增强深度学习模型在复杂组织病理图像分析中的鲁棒性与泛化能力？
• RQ3 ConCORDe-Net 在检测 mIHC 图像中具有挑战性的细胞表型方面，相较于 MapDe 与 U-Net 等最先进方法，其性能提升程度如何？
• RQ4 统一的检测与分类框架是否能在保持对多重标记染色强度差异高度敏感的同时，实现高精度？
• RQ5 结合点标注生成的伪分割图与细胞计数损失，是否能实现比端到端实例掩码分割更好的泛化性能？

主要发现

• ConCORDe-Net 在测试集上取得 0.873 的 F1 分数，优于 MapDe（0.838）与 U-Net（0.841），且召回率与 F1 分数均高于当前最先进方法。
• 该模型在检测紧密排列细胞及弱染色的 GAL8+ pSTAT- 细胞方面表现更优，而这些细胞被 MapDe 与 U-Net 所遗漏。
• 细胞计数损失函数的引入显著提升了对低梯度边界及细微染色强度差异细胞的检测能力。
• 经过两级分类器级联后，细胞分类准确率达到 96.5%，classifier1 的 AUC > 0.99，classifier2 的 AUC > 0.97，覆盖所有细胞类型。
• ConCORDe-Net 的精确率低于其他模型，因其检测到了专家及其他方法所遗漏的弱染色细胞，表明其具有更高的敏感性。
• 细胞计数模块有效正则化了网络，使其学习到区分紧密排列细胞的模式，并在噪声较多的 mIHC 图像中减少假阴性。