[论文解读] Locating Cephalometric X-Ray Landmarks with Foveated Pyramid Attention

Logan Gilmour, Nilanjan Ray|arXiv (Cornell University)|Aug 10, 2020

Dental Radiography and Imaging参考文献 32被引用 4

一句话总结

本文提出了一种蜂窝状金字塔注意力机制，通过多尺度图像瞥见和空间化特征，实现在大尺寸头影测量X光片中高效且高精度的地标回归。通过使用预训练CNN对低分辨率瞥见进行迭代细化，该方法实现了对数缩放的最先进性能，显著降低了内存和计算成本，同时在基准数据集上优于先前的方法。

ABSTRACT

CNNs, initially inspired by human vision, differ in a key way: they sample uniformly, rather than with highest density in a focal point. For very large images, this makes training untenable, as the memory and computation required for activation maps scales quadratically with the side length of an image. We propose an image pyramid based approach that extracts narrow glimpses of the of the input image and iteratively refines them to accomplish regression tasks. To assist with high-accuracy regression, we introduce a novel intermediate representation we call 'spatialized features'. Our approach scales logarithmically with the side length, so it works with very large images. We apply our method to Cephalometric X-ray Landmark Detection and get state-of-the-art results.

研究动机与目标

• 为解决标准CNN处理大尺寸医学图像时计算和内存成本过高的问题，其成本随图像尺寸呈二次方增长。
• 通过模仿人类蜂窝状视觉，聚焦于显著区域的高分辨率处理，提升头影测量X光片中地标回归的准确性。
• 通过多分辨率瞥见实现的数据增强，促进有效迁移学习并减少小规模医学数据集上的过拟合。
• 开发一种可扩展的迭代回归框架，利用误差反馈和空间化特征细化地标预测。
• 在ISBI 2015头影测量地标挑战数据集上实现最先进性能，提升平均径向误差和检测率。

提出的方法

• 该方法通过从输入图像的不同区域裁剪出小而高分辨率的瞥见来构建多尺度图像金字塔，聚焦于当前估计的地标位置。
• 使用预训练CNN处理每个瞥见以提取分层特征，随后将这些特征空间化为2D坐标感知的特征向量，以保留空间上下文信息。
• 通过空间化特征预测新地标位置的迭代细化过程，利用误差反馈引导下一次瞥见的位置选择。
• 瞥见选择由当前预测引导，确保在可能的地标位置附近进行高分辨率采样，模拟人类蜂窝状视觉。
• 该方法随图像尺寸呈对数缩放，因为每次迭代仅需少量瞥见，从而大幅降低内存和计算需求。
• 模型通过端到端的地标坐标回归损失进行训练，迭代过程学习纠正先前的误差。

实验结果

研究问题

• RQ1 蜂窝状多尺度注意力机制是否能在保持计算效率的同时，提升大尺寸头影测量X光片中地标检测的准确性？
• RQ2 与标准特征图相比，使用多分辨率瞥见导出的空间化特征是否能提升回归性能？
• RQ3 结合误差反馈的迭代细化是否能带来更优的收敛性和定位鲁棒性？
• RQ4 该方法在ISBI 2015头影测量地标挑战数据集上相较于现有最先进方法的优越程度如何？
• RQ5 该方法的对数缩放特性是否使其能够在标准CNN失效的极高分辨率医学图像上实现有效推理？

主要发现

• 在4折交叉验证划分上，所提方法的平均径向误差（MRE）为1.07 ± 0.95 mm，优于先前最先进方法。
• 在Test 1上，MRE为1.01 ± 0.85 mm，4.0mm阈值下的成功检测率达到98.63%，超越所有先前提交结果。
• 在Test 2上，MRE为1.33 ± 0.74 mm，4.0mm阈值下的检测率为94.89%，尽管观察者间变异较低，仍表现出强大的泛化能力。
• 模型仅用3次推理迭代即收敛至最先进性能，当迭代次数从10次减少至3次时，MRE仅增加0.015 mm，性能下降可忽略。
• 在4折和Test 1上，该方法结果均处于观察者间变异范围内，表明达到人类水平的精度。
• 空间化特征的使用和迭代细化显著提升了性能，表明实现了有效的误差校正和鲁棒的特征学习。