[论文解读] Multi-dimensional Gated Recurrent Units for Automated Anatomical Landmark Localization

Simon Andermatt, Simon Pezold+2 more|arXiv (Cornell University)|Aug 9, 2017

Medical Image Segmentation Techniques参考文献 11被引用 7

一句话总结

本文提出一种两阶段、多维门控循环单元（MD-GRU）框架，用于在MRI中自动定位3D解剖标志点，通过粗到精的优化与MD-GRUs结合，实现高精度定位。该方法对延髓脑桥沟的定位平均误差为1.7 mm，与临床专家在评分者间比较中的表现相当。

ABSTRACT

We present an automated method for localizing an anatomical landmark in three-dimensional medical images. The method combines two recurrent neural networks in a coarse-to-fine approach: The first network determines a candidate neighborhood by analyzing the complete given image volume. The second network localizes the actual landmark precisely and accurately in the candidate neighborhood. Both networks take advantage of multi-dimensional gated recurrent units in their main layers, which allow for high model complexity with a comparatively small set of parameters. We localize the medullopontine sulcus in 3D magnetic resonance images of the head and neck. We show that the proposed approach outperforms similar localization techniques both in terms of mean distance in millimeters and voxels w.r.t. manual labelings of the data. With a mean localization error of 1.7 mm, the proposed approach performs on par with neurological experts, as we demonstrate in an interrater comparison.

研究动机与目标

• 开发一种自动化、鲁棒的3D医学影像解剖标志点定位方法，以减少评分者间与评分者内差异。
• 通过利用具有多维GRU的循环结构，克服CNN在捕捉长程上下文关系方面的局限性。
• 通过在多分辨率下使用MD-GRU的粗到精网络设计，提升定位精度。
• 与临床专家对比评估性能，并证明其定位精度相当。
• 将MD-GRU的应用从先前的分割任务拓展至标志点检测任务。

提出的方法

• 该方法采用两阶段网络：首先由粗网络处理4倍下采样的3D体数据，以识别候选区域；随后由细网络在高分辨率子体积中精确定位标志点。
• 两个网络均采用多维门控循环单元（MD-GRUs），并在每层引入下采样操作，以实现多分辨率特征学习并降低空间复杂度。
• MD-GRU层被改进以包含可学习的下采样操作，从而在保持参数效率的同时实现对体数据的分层处理。
• 网络对每个维度的256个可能坐标类别预测概率分布，最终坐标通过在前3名类别上进行抛物线拟合估计。
• 训练采用整数坐标子体积的随机采样，以避免插值，使用交叉熵损失进行概率预测。
• 该框架在1218个体部与颈部的3D T1加权MRI体数据上进行评估，其中100幅测试图像由两名专家评分者标注。

实验结果

研究问题

• RQ1 多维门控循环单元（MD-GRUs）能否有效建模3D解剖标志点定位中的长程上下文依赖关系？
• RQ2 与单阶段方法相比，粗到精的两阶段网络设计是否能显著提升定位精度？
• RQ3 基于MD-GRU的网络能否在标志点定位中达到与人类专家相当的性能？
• RQ4 使用离散坐标概率分布与抛物线拟合对定位精度有何影响？
• RQ5 与人工标注相比，所提出方法在多大程度上降低了评分者间差异？

主要发现

• 所提方法实现了1.7 mm的平均定位误差，与两名临床专家之间的评分者间差异在统计上无显著区别。
• 两阶段网络设计相比仅使用粗网络显著提升了精度，在最佳配置下误差降低超过50%。
• 每个维度使用256个坐标类别并结合抛物线拟合，相比64个类别进一步提升了精度，仅增加2.5小时训练时间。
• 如表1c所示，该方法在平均距离（mm）和体素误差方面均优于现有基于深度学习的标志点定位技术。
• 推理时间测试显示每个体数据的推理时间低于4秒，证明其具备临床集成的实时可行性。
• 对最差情况误差的分析表明，最大偏差源于专家标注的错误，表明该方法对标注噪声具有鲁棒性。