[论文解读] Finding a Needle in the Haystack: Attention-Based Classification of High Resolution Microscopy Images.

Naofumi Tomita, Behnaz Abdollahi+4 more|arXiv (Cornell University)|Nov 20, 2018

Esophageal Cancer Research and Treatment被引用 6

一句话总结

该论文提出了一种基于注意力机制的深度学习框架，仅使用组织层面的标注即可对巴雷特食管和食管腺癌的高分辨率组织学图像进行分类，无需区域感兴趣（ROI）标注。该模型结合卷积神经网络与基于网格的注意力机制，在123张测试图像上实现了0.83的平均准确率，优于或匹配了使用ROI标注进行训练的最先进滑动窗口方法。

ABSTRACT

Deep learning-based methods, such as the sliding window approach for cropped-image classification and heuristic aggregation for whole-slide inference, for analyzing histological patterns in high-resolution microscopy images have shown promising results. These approaches, however, require a laborious annotation process and are fragmented. This diagnostic study collected deidentified high-resolution histological images (N = 379) for training a new model composed of a convolutional neural network and a grid-based attention network, trainable without region-of-interest annotations. Histological images of patients who underwent endoscopic esophagus and gastroesophageal junction mucosal biopsy between January 1, 2016, and December 31, 2018, at Dartmouth-Hitchcock Medical Center (Lebanon, New Hampshire) were collected. The method achieved a mean accuracy of 0.83 in classifying 123 test images. These results were comparable with or better than the performance from the current state-of-the-art sliding window approach, which was trained with regions of interest. Results of this study suggest that the proposed attention-based deep neural network framework for Barrett esophagus and esophageal adenocarcinoma detection is important because it is based solely on tissue-level annotations, unlike existing methods that are based on regions of interest. This new model is expected to open avenues for applying deep learning to digital pathology.

研究动机与目标

• 开发一种无需人工密集的区域感兴趣（ROI）标注的深度学习模型，用于对高分辨率组织学图像进行分类。
• 解决现有数字病理学深度学习方法中组织碎片化和标注负担过重的问题。
• 提高全切片图像中组织学模式分析的效率与可扩展性。
• 评估注意力机制是否能在最小标注投入下实现具有竞争力的性能。

提出的方法

• 该模型将卷积神经网络（CNN）与基于网格的注意力机制相结合，聚焦于相关组织区域，而无需依赖ROI级别的监督。
• 训练仅使用全切片的组织层面标签，避免了对诊断区域的边界框或像素级标注的需求。
• 注意力机制通过关注空间网格区域，学习突出高分辨率图像中的判别性图像块。
• 该框架支持使用标准反向传播进行端到端训练，注意力权重在推理过程中动态调整。
• 为进行对比，采用滑动窗口基线方法，该方法使用完整的ROI标注进行训练，以确立最先进性能基准。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需区域感兴趣（ROI）标注的情况下，对高分辨率组织学图像实现高分类准确率？
• RQ2 在仅使用组织层面标签训练的注意力模型性能，与使用ROI标注训练的滑动窗口方法相比如何？
• RQ3 基于网格的注意力机制是否能在无监督条件下有效定位全切片图像中的诊断相关区域？
• RQ4 所提出的方法是否在保持或提升诊断准确率的同时，显著减少标注负担？

主要发现

• 所提出的基于注意力机制的模型在123张测试图像上实现了0.83的平均准确率，证明其在巴雷特食管和食管腺癌分类任务中表现强劲。
• 该模型的性能优于或等同于最先进滑动窗口方法，后者需要大量ROI标注。
• 该方法消除了对区域感兴趣标注的需求，显著降低了标注工作量与复杂度。
• 注意力机制在无监督条件下成功定位了具有诊断意义的组织模式，表明其在数字病理学弱监督学习中的潜力。
• 结果表明，基于注意力机制的框架仅使用组织层面标签即可有效实现全切片图像分类，为临床病理学中的广泛应用提供了可能。