[论文解读] Delineation of Skin Strata in Reflectance Confocal Microscopy Images using Recurrent Convolutional Networks with Toeplitz Attention

Alican Bozkurt, Kıvanç Köse+5 more|arXiv (Cornell University)|Dec 1, 2017

AI in cancer detection参考文献 6被引用 6

一句话总结

该论文提出一种具有托普利茨注意力机制的循环卷积网络（RCN），用于在反射共焦显微镜（RCM）图像堆栈中自动划分皮肤层次结构（表皮、真皮-表皮交界处、真皮），通过采用深度无关的局部注意力机制与紧凑的支持结构，提升了模型可解释性，并实现了88.17%的图像级分类准确率——达到当前最先进水平。

ABSTRACT

Reflectance confocal microscopy (RCM) is an effective, non-invasive pre-screening tool for skin cancer diagnosis, but it requires extensive training and experience to assess accurately. There are few quantitative tools available to standardize image acquisition and analysis, and the ones that are available are not interpretable. In this study, we use a recurrent neural network with attention on convolutional network features. We apply it to delineate skin strata in vertically-oriented stacks of transverse RCM image slices in an interpretable manner. We introduce a new attention mechanism called Toeplitz attention, which constrains the attention map to have a Toeplitz structure. Testing our model on an expert labeled dataset of 504 RCM stacks, we achieve 88.17% image-wise classification accuracy, which is the current state-of-art.

研究动机与目标

• 为解决皮肤癌诊断中RCM图像分析缺乏可解释性、定量化的标准化工具的问题。
• 通过引入增强模型可解释性的注意力机制，改进现有循环卷积网络（RCN）。
• 利用尊重解剖约束（单向层间过渡）的注意力机制，建模RCM图像堆栈的序列特性。
• 探究局部注意力机制在支持范围减小的情况下，是否能与全序列建模精度相当甚至更优，同时保持可解释性。
• 通过结构化注意力机制最小化解剖上不可能的过渡（如真皮到表皮）。

提出的方法

• 使用循环卷积网络（RCN）处理垂直堆叠的RCM切片，利用其序列结构。
• 提出一种新型托普利茨注意力机制，将注意力权重约束为托普利茨矩阵结构，实现在支持范围紧凑条件下的深度无关、局部注意力。
• 采用单调对齐策略，使注意力以当前切片为中心，覆盖大小为2D+1的窗口，其中D控制感受野大小。
• 通过可微分加权对特征表示应用软注意力机制，支持基于梯度的优化与注意力图可视化。
• 对比全局注意力（全序列）、托普利茨注意力（D=0至D=7）与部分序列RCN，评估性能与一致性。
• 在将特征输入RCN的注意力模块前，使用Inception v3作为主干网络进行特征提取。

实验结果

研究问题

• RQ1 结构化注意力机制是否能在不损失准确率的前提下提升RCM皮肤层次分类的可解释性？
• RQ2 通过托普利茨结构实现的、支持范围有限且与深度无关的局部注意力，是否优于全局注意力或全序列建模？
• RQ3 在RCM图像堆栈分类中，注意力机制的最佳感受野大小（D）是多少？该大小是否与临床对最小必要上下文的直觉一致？
• RQ4 注意力机制是否能相比基线模型减少解剖上不可能的过渡（如真皮到表皮）？
• RQ5 解码器中输入馈送机制如何影响皮肤层次划分的准确率与一致性？

主要发现

• 所提出的D=1托普利茨注意力模型在图像级分类中达到最高准确率88.18%，优于所有先前方法，包括全序列RCN（87.97%）与部分序列RCN（87.52%）。
• 全局注意力准确率为86.47%，但报告的解剖上不可能过渡为零，表明其在准确率略低的情况下仍具有更优的一致性。
• D=1配置（3切片感受野）在准确率与临床合理性之间实现最佳平衡，支持了‘最小上下文即足够实现高性能’的假设。
• D=7与D=1的注意力图均在相关切片周围呈现类似高斯分布的集中特征，表明网络在无需稀疏正则化的情况下，学会了聚焦于生物学上有意义的区域。
• D=0情况（恒等注意力）的性能几乎与全序列RCN完全一致，证实输入馈送可提升准确率，但无法改善一致性。
• D=1模型仅产生5次不可能过渡（4次DEJ→表皮，1次真皮→表皮），远少于基线模型如Inception-v3（68次）与Kaur等人（402次）。”