[论文解读] Deep Multi-Resolution Dictionary Learning for Histopathology Image Analysis

Nima Hatami, Mohsin Bilal+1 more|arXiv (Cornell University)|Apr 1, 2021

AI in cancer detection参考文献 43被引用 12

一句话总结

该论文提出了一种新型端到端深度字典学习框架——深度多分辨率字典学习（deep MRDL），通过整合预训练CNN主干网络的多尺度深层纹理描述符，提升全切片病理图像中的组织表型分析与分类性能。该方法在多个基准数据集上达到最先进性能，包括在PCam数据集上实现90.4%的准确率，在BreakHis数据集上达到96.9%，展现出在计算病理学任务中卓越的泛化能力和鲁棒性。

ABSTRACT

The problem of recognizing various types of tissues present in multi-gigapixel histology images is an important fundamental pre-requisite for downstream analysis of the tumor microenvironment in a bottom-up analysis paradigm for computational pathology. In this paper, we propose a deep dictionary learning approach to solve the problem of tissue phenotyping in histology images. We propose deep Multi-Resolution Dictionary Learning (deepMRDL) in order to benefit from deep texture descriptors at multiple different spatial resolutions. We show the efficacy of the proposed approach through extensive experiments on four benchmark histology image datasets from different organs (colorectal cancer, breast cancer and breast lymphnodes) and tasks (namely, cancer grading, tissue phenotyping, tumor detection and tissue type classification). We also show that the proposed framework can employ most off-the-shelf CNNs models to generate effective deep texture descriptors.

研究动机与目标

• 解决真实世界组织病理学图像（'来自野外的病理图像'）中深度学习模型性能不一致的挑战，即在实验室数据集上训练的模型往往难以泛化。
• 通过整合来自多分辨率的深层、空间感知特征，克服传统BoW和浅层纹理描述符的局限性。
• 开发一种端到端可训练的框架，联合优化特征提取、字典学习、编码和分类过程，利用标注数据进行联合优化。
• 在染色、分辨率和组织形态各异的多种组织学数据集中，提升组织表型分析与分类的准确性。
• 在不微调的前提下，利用现成的CNN作为特征提取器，同时在多个空间分辨率下学习任务特定的自适应字典。

提出的方法

• 提出一种深度多分辨率字典学习（deep MRDL）框架，从单张输入图像中为不同空间分辨率提取的深层特征学习独立的字典。
• 使用预训练CNN（如InceptionV3、ResNet18、DenseNet）作为特征提取器，在不同网络层和尺度上生成分层的深层纹理描述符。
• 基于各字典对最终分类的贡献程度，实施自适应、动态的多分辨率字典融合，实现分辨率感知的表征学习。
• 通过联合损失函数端到端训练整个模型，同时优化特征学习、字典学习、编码和分类器性能。
• 在切片级预测上应用中值滤波进行空间平滑，以在全切片图像（WSIs）上生成连贯、高分辨率的组织表型图。
• 在推理前应用颜色归一化和基于Otsu的组织区域分割，以确保输入质量一致并聚焦于相关组织区域。

实验结果

研究问题

• RQ1 能否通过字典学习有效融合来自预训练CNN的多分辨率深层特征，以提升组织病理图像中的分类性能？
• RQ2 与模块化、分阶段的流水线相比，端到端训练深度字典学习框架是否能在组织病理学基准上实现更优性能？
• RQ3 不同字典大小和空间分辨率如何影响组织表型分析与癌症分级任务的分类准确率？
• RQ4 所提出的deep MRDL框架能否在来自不同器官（如结肠、乳腺、淋巴结）和染色方案的多样化组织学数据集中实现良好泛化？
• RQ5 与固定或单分辨率方法相比，多分辨率字典的自适应融合在多大程度上提升了模型的鲁棒性和准确性？

主要发现

• 在PCam数据集上，deep MRDL框架实现了90.4%的分类准确率，优于此前最先进方法如GDenseNet（89.8%）和InceptionV3（87.5%）。
• 在BreakHis数据集上，deep MRDL达到96.9%的准确率，优于次优方法（Vo等，96.3%），在乳腺癌分类任务中展现出强大的泛化能力。
• 在PCam上，该方法实现96.8%的AUC，表明其在区分恶性与良性组织方面具有高度判别力和鲁棒性。
• 在TCGA来源的全切片图像（WSIs）上的定性结果显示，deep MRDL生成的组织表型图与专家病理科医生的评估高度一致，能准确定位肿瘤、间质和炎症区域。
• 消融实验表明，多分辨率学习显著提升性能，最优结果在结合多个空间尺度和特征层的字典时达成。
• 该框架成功利用现成CNN（如MobileNet、DenseNet）作为特征提取器而无需微调，展现出模型间的灵活性与可迁移性。