[论文解读] Direct Estimation of Regional Wall Thicknesses via Residual Recurrent Neural Network

Wufeng Xue, Ilanit Ben Nachum+4 more|arXiv (Cornell University)|May 26, 2017

Cardiac Imaging and Diagnostics参考文献 28被引用 15

一句话总结

本文提出了一种新型残差循环神经网络（ResRNN），用于在心脏MRI中直接、端到端地估计区域壁厚（RWT），通过双路径架构同时捕捉空间与时间依赖性：使用卷积神经网络（CNN）进行逐帧嵌入，使用循环RNN（Circle-RNN）建模心肌的动态变形。该方法在145名受试者中实现了1.44 mm的平均绝对误差（MAE），优于最先进的基于分割的方法以及两阶段直接方法。

ABSTRACT

Accurate estimation of regional wall thicknesses (RWT) of left ventricular (LV) myocardium from cardiac MR sequences is of significant importance for identification and diagnosis of cardiac disease. Existing RWT estimation still relies on segmentation of LV myocardium, which requires strong prior information and user interaction. No work has been devoted into direct estimation of RWT from cardiac MR images due to the diverse shapes and structures for various subjects and cardiac diseases, as well as the complex regional deformation of LV myocardium during the systole and diastole phases of the cardiac cycle. In this paper, we present a newly proposed Residual Recurrent Neural Network (ResRNN) that fully leverages the spatial and temporal dynamics of LV myocardium to achieve accurate frame-wise RWT estimation. Our ResRNN comprises two paths: 1) a feed forward convolution neural network (CNN) for effective and robust CNN embedding learning of various cardiac images and preliminary estimation of RWT from each frame itself independently, and 2) a recurrent neural network (RNN) for further improving the estimation by modeling spatial and temporal dynamics of LV myocardium. For the RNN path, we design for cardiac sequences a Circle-RNN to eliminate the effect of null hidden input for the first time-step. Our ResRNN is capable of obtaining accurate estimation of cardiac RWT with Mean Absolute Error of 1.44mm (less than 1-pixel error) when validated on cardiac MR sequences of 145 subjects, evidencing its great potential in clinical cardiac function assessment.

研究动机与目标

• 为解决心脏MRI中缺乏直接RWT估计方法的问题，传统方法依赖耗时的分割流程。
• 克服心脏解剖结构多样性和心脏周期中复杂区域心肌变形带来的挑战。
• 开发一种端到端的深度学习框架，以捕捉心脏序列中的空间与时间依赖性。
• 消除对手动分割的依赖，提升RWT估计的准确性和鲁棒性。
• 提出一种新型Circle-RNN，用于建模周期性心脏动力学与心室壁节段的环形空间布局，从而减少初始隐藏状态为零带来的偏差。

提出的方法

• ResRNN采用双路径架构：CNN路径用于基于图像嵌入的独立逐帧RWT估计，RNN路径用于残差优化。
• RNN路径使用时间RNN建模心脏相位间的长程依赖性，同时使用空间RNN捕捉相邻心肌节段之间的相互关系。
• 设计了一种新型Circle-RNN，通过利用心脏周期的周期性特征与左心室壁节段的环形排列，减轻初始隐藏状态为零的影响。
• 采用残差学习策略进行端到端训练，其中RNN学习修正CNN初始预测中的误差。
• 该方法处理短轴位电影MRI序列，基于标准化的6节段模型对每个节段进行RWT估计。
• 通过在145名心脏MRI受试者的数据集上进行5折交叉验证对框架进行验证。

实验结果

研究问题

• RQ1 深度学习模型能否在无需先前置分割的情况下，直接从心脏MRI中估计区域壁厚？
• RQ2 如何有效建模心脏运动中的空间与时间依赖性，以提升RWT估计的准确性？
• RQ3 新型Circle-RNN架构能否减少因第一帧初始隐藏状态为零而引入的误差？
• RQ4 端到端学习空间与时间动态特性是否优于将特征提取与回归分离的两阶段方法？
• RQ5 与最先进的基于分割方法及直接估计方法相比，所提出的ResRNN在RWT估计准确性方面表现如何？

主要发现

• 所提出的ResRNN在全部145名受试者中实现了1.44 mm的平均绝对误差（MAE），相当于不足一个像素，表明估计精度极高。
• 尽管Max Flow方法在左心室（LV）分割中取得了0.9182的Dice分数，ResRNN仍比其在MAE上降低了55.14%，证明了优越性。
• 与最佳两阶段直接方法（MCDBN+RF）相比，ResRNN将误差降低了12.73%，证实了端到端学习的优势。
• Circle-RNN在早期心脏相位中持续优于普通RNN，通过更好地保留第一帧的动态信息提升了性能。
• 与Max Flow不同，ResRNN在所有心脏相位中均保持一致的低估计误差，后者在远离第一帧时误差逐渐增大。
• 双路径设计——结合基于CNN的逐帧估计与基于RNN的残差优化——被证明是有效的，两个组件均对最终精度有独特贡献。