[论文解读] Automatic Lymphocyte Detection in H&E Images with Deep Neural Networks.

Jianxu Chen, Chukka Srinivas|arXiv (Cornell University)|Dec 9, 2016

Digital Imaging for Blood Diseases参考文献 5被引用 14

一句话总结

本文提出了一种基于深度学习的方法，用于在苏木精-伊丽莎白（H&E）染色的组织病理学图像中自动检测淋巴细胞，采用增强的全卷积网络（FCN）结合跳跃连接，并引入一种新颖的训练方案，利用自由形式标注和先验生物学知识。该模型在多种染色条件和组织类型下表现出稳健性能，并可通过人机协同微调实现自我优化。

ABSTRACT

Automatic detection of lymphocyte in H&E images is a necessary first step in lots of tissue image analysis algorithms. An accurate and robust automated lymphocyte detection approach is of great importance in both computer science and clinical studies. Most of the existing approaches for lymphocyte detection are based on traditional image processing algorithms and/or classic machine learning methods. In the recent years, deep learning techniques have fundamentally transformed the way that a computer interprets images and have become a matchless solution in various pattern recognition problems. In this work, we design a new deep neural network model which extends the fully convolutional network by combining the ideas in several recent techniques, such as shortcut links. Also, we design a new training scheme taking the prior knowledge about lymphocytes into consideration. The training scheme not only efficiently exploits the limited amount of free-form annotations from pathologists, but also naturally supports efficient fine-tuning. As a consequence, our model has the potential of self-improvement by leveraging the errors collected during real applications. Our experiments show that our deep neural network model achieves good performance in the images of different staining conditions or different types of tissues.

研究动机与目标

• 开发一种准确且鲁棒的全自动淋巴细胞检测系统，用于H&E染色的全切片图像，这对于量化癌症免疫治疗中的免疫反应至关重要。
• 通过支持高效利用自由形式标注（如点、涂鸦或边界区域）来解决有限且依赖专家的标注真值问题。
• 将先验生物学知识（如淋巴细胞大小（14–20微米）和盘状形态）融入训练过程，以提升模型泛化能力。
• 设计一种支持通过在实际应用中收集错误后进行微调来实现持续自我优化的训练方案，从而实现人机协同的模型适应。
• 确保对临床组织病理学图像中常见的染色强度和组织形态学显著差异具有鲁棒性。

提出的方法

• 通过引入残差学习模块（两个3×3卷积 + ReLU + 跳跃连接）扩展全卷积网络（FCN），以改善特征学习和梯度流动。
• 采用编码器-解码器架构并结合多尺度特征学习，以捕捉淋巴细胞检测所需的局部与上下文信息。
• 提出一种新颖的训练策略，通过约束模型预测合理的淋巴细胞空间分布，将关于淋巴细胞大小和形状的先验知识融入训练过程。
• 利用自由形式标注（包括阳性点（淋巴细胞）、阴性点（肿瘤/间质细胞）以及非淋巴细胞区域的涂鸦）作为弱监督信号，实现高效训练。
• 采用数据增强技术，并交替从公开数据集和内部数据集中采样，以平衡训练数据分布并提升泛化能力。
• 对模型生成的每像素概率图进行后处理，通过非极大值抑制和阈值化方法提取检测到的淋巴细胞位置及其置信度分数。

实验结果

研究问题

• RQ1 基于自由形式标注训练的深度学习模型是否能在多种染色条件和组织类型下实现稳健的淋巴细胞检测？
• RQ2 在标注数据有限的情况下，如何有效整合先验生物学知识（如淋巴细胞大小和形态）以提升检测性能？
• RQ3 模型在真实应用场景中通过病理学家修正的错误进行微调后，其自我优化能力在多大程度上得以体现？
• RQ4 所提出的结合残差连接和多尺度特征学习的架构是否在检测准确率和推理速度上优于标准FCN或基于图像块的CNN？
• RQ5 在淋巴细胞紧密聚集或形态相似等挑战性场景下，模型的性能表现如何？

主要发现

• 所提出的模型在公开和内部的H&E图像数据集上均表现出优异性能，展现出对显著染色差异和组织变异的鲁棒性。
• 即使在染色质量差、组织密度高或肿瘤细胞含量高的图像中，模型仍能成功检测淋巴细胞，定性结果表明其有效性。
• 通过感知细胞的整体形态和上下文关系，模型能有效处理聚集的淋巴细胞，避免过度分割或漏检。
• 该训练方案能够高效利用有限的专家标注，包括非均匀分布和自由形式的标签（如点和涂鸦）。
• 模型支持通过病理学家修正错误后的微调实现持续自我优化，从而实现在实际部署中精度的动态提升。
• 在训练过程中引入关于淋巴细胞大小（14–20微米）的先验知识，显著提升了定位精度并减少了假阳性结果。