[论文解读] Look, Investigate, and Classify: A Deep Hybrid Attention Method for Breast Cancer Classification

Bolei Xu, Jingxin Liu+7 more|arXiv (Cornell University)|Feb 28, 2019

AI in cancer detection参考文献 12被引用 6

一句话总结

本文提出一种深度混合注意力网络，模拟人类视觉感知进行乳腺癌组织病理学图像分类。该方法采用强化学习优化的硬注意力机制，选择性裁剪信息丰富的图像块，随后通过软注意力机制突出异常特征，仅处理原始图像15%的像素即实现96%的准确率。

ABSTRACT

One issue with computer based histopathology image analysis is that the size of the raw image is usually very large. Taking the raw image as input to the deep learning model would be computationally expensive while resizing the raw image to low resolution would incur information loss. In this paper, we present a novel deep hybrid attention approach to breast cancer classification. It first adaptively selects a sequence of coarse regions from the raw image by a hard visual attention algorithm, and then for each such region it is able to investigate the abnormal parts based on a soft-attention mechanism. A recurrent network is then built to make decisions to classify the image region and also to predict the location of the image region to be investigated at the next time step. As the region selection process is non-differentiable, we optimize the whole network through a reinforcement approach to learn an optimal policy to classify the regions. Based on this novel Look, Investigate and Classify approach, we only need to process a fraction of the pixels in the raw image resulting in significant saving in computational resources without sacrificing performances. Our approach is evaluated on a public breast cancer histopathology database, where it demonstrates superior performance to the state-of-the-art deep learning approaches, achieving around 96\% classification accuracy while only 15% of raw pixels are used.

研究动机与目标

• 解决由于原始图像尺寸过大导致的深度学习方法在组织病理学图像分析中的计算效率低下和信息丢失问题。
• 开发一种方法，可在不进行图像缩放或随机裁剪的情况下，选择性聚焦于全切片图像中的相关区域。
• 通过结合粗略区域选择（观察）、细节特征探究（研究）和分类（判断）的策略，模拟人类诊断行为。
• 通过强化学习优化区域选择策略，以在降低计算成本的同时提高分类准确率。
• 在公开组织病理学数据集上，性能优于当前最先进的方法。

提出的方法

• 将分类任务建模为部分可观测马尔可夫决策过程（POMDP），实现在图像区域上的序列决策。
• 实现一种硬注意力机制，在每个时间步从原始全切片图像中选择粗粒度的相关图像块。
• 应用软注意力网络（SA-Net），通过学习到的注意力图在每个选定块内突出病变相关特征。
• 使用全连接融合网络将软注意力特征与空间位置信息融合，生成上下文感知特征。
• 使用长短期记忆网络（LSTM）处理特征，进行图像分类，并预测下一步应研究的区域。
• 通过强化学习端到端训练整个网络，以优化区域选择策略，因为硬注意力机制不具备可微性。

实验结果

研究问题

• RQ1 深度学习模型是否能在仅处理原始图像像素一小部分的情况下，有效分类乳腺癌组织病理学图像？
• RQ2 结合硬注意力与软注意力的混合注意力机制，相较于标准CNN或基于图像块的方法，能否显著提升分类准确率？
• RQ3 基于强化学习的区域选择在准确率和效率方面，相较于随机或固定裁剪的图像块选择，优势有多大？
• RQ4 软注意力机制在减少噪声和提升特征相关性方面，其作用有多关键？
• RQ5 所提出的“观察、研究、判断”框架能否在全切片图像分析中有效模拟人类诊断行为？

主要发现

• 所提方法在40×放大倍数下达到97.5%的患者识别率（PRR），100×下为96.2%，200×下为97.4%，400×下为95.4%，在BreakHis数据集上显著优于所有先前的最先进方法。
• 模型仅处理约15%的原始图像像素（五个112×112图像块），在不损失准确率的前提下实现了显著的计算节省。
• 消融实验表明，若移除软注意力网络（SA-Net），准确率将下降约10%，证实其在过滤无关特征和降低噪声方面具有关键作用。
• 基于强化学习的硬注意力策略能成功识别出在多种放大倍数下具有生物学意义的区域，展现出良好的鲁棒性与适应性。
• 该方法避免了图像缩放或随机裁剪，从而保留了对准确诊断至关重要的细微组织学细节。
• 模型在不同放大倍数下泛化能力良好，在所有四个放大倍数下均保持一致的高性能表现。