[论文解读] Full Quantification of Left Ventricle via Deep Multitask Learning Network Respecting Intra- and Inter-Task Relatedness

Wufeng Xue, Andrea Lum+4 more|arXiv (Cornell University)|Jun 6, 2017

Radiomics and Machine Learning in Medical Imaging参考文献 15被引用 32

一句话总结

本文提出 FullLVNet，一种深度多任务学习网络，采用 CNN-RNN 架构，通过联合建模任务内与任务间相关性，同时量化左心室（LV）指标——包括面积、区域壁厚、尺寸和心脏相位。通过应用组套索（group lasso）实现任务内稀疏性，以及通过相位引导约束实现时间一致性，FullLVNet 达到了最先进性能，在 145 名 MR 受试者上，区域壁厚的平均绝对误差（MAE）为 1.41 mm，尺寸的 MAE 为 2.68 mm，面积的 MAE 为 190 mm²，相位分类的误差率为 10.4%。

ABSTRACT

Cardiac left ventricle (LV) quantification is among the most clinically important tasks for identification and diagnosis of cardiac diseases, yet still a challenge due to the high variability of cardiac structure and the complexity of temporal dynamics. Full quantification, i.e., to simultaneously quantify all LV indices including two areas (cavity and myocardium), six regional wall thicknesses (RWT), three LV dimensions, and one cardiac phase, is even more challenging since the uncertain relatedness intra and inter each type of indices may hinder the learning procedure from better convergence and generalization. In this paper, we propose a newly-designed multitask learning network (FullLVNet), which is constituted by a deep convolution neural network (CNN) for expressive feature embedding of cardiac structure; two followed parallel recurrent neural network (RNN) modules for temporal dynamic modeling; and four linear models for the final estimation. During the final estimation, both intra- and inter-task relatedness are modeled to enforce improvement of generalization: 1) respecting intra-task relatedness, group lasso is applied to each of the regression tasks for sparse and common feature selection and consistent prediction; 2) respecting inter-task relatedness, three phase-guided constraints are proposed to penalize violation of the temporal behavior of the obtained LV indices. Experiments on MR sequences of 145 subjects show that FullLVNet achieves high accurate prediction with our intra- and inter-task relatedness, leading to MAE of 190mm$^2$, 1.41mm, 2.68mm for average areas, RWT, dimensions and error rate of 10.4\% for the phase classification. This endows our method a great potential in comprehensive clinical assessment of global, regional and dynamic cardiac function.

研究动机与目标

• 为解决从心脏 MR 图像中全面量化左心室（LV）指标（包括面积、区域壁厚、尺寸和心脏相位）的挑战。
• 通过设计统一的深度学习框架，克服现有方法的局限性，如特征表示能力弱、缺乏时间建模以及非端到端学习。
• 通过显式建模任务内相关性（每个回归任务内部）和任务间相关性（不同 LV 指标之间），提升模型泛化能力与收敛性。
• 实现在无需手动分割的前提下，对整体、区域和动态心脏功能进行全面、自动化的评估。

提出的方法

• FullLVNet 使用深度卷积神经网络（CNN）从短轴心脏 MR 图像中提取具有任务感知能力的表达性特征嵌入。
• 采用两个并行的循环神经网络（RNN）模块，对心脏周期间的时间动态进行建模，以保持 LV 指标演变的一致性。
• 四个独立的线性回归头分别用于估计三个 LV 面积/尺寸/RWT 任务，一个分类头用于预测心脏相位。
• 在每个回归任务内应用组套索正则化，以强制实现共享特征选择的稀疏性，提升任务内一致性。
• 引入三种相位引导约束，用于惩罚对预期时间行为的违反（例如，收缩期心腔面积减小），以建模任务间相关性。
• 采用两步训练策略：首先，在不反向传播梯度至相位分类器的前提下训练 CNN、第一个 RNN 和回归头；其次，冻结早期层，微调第二个 RNN 和分类器。

实验结果

研究问题

• RQ1 是否能够通过深度多任务学习框架，联合预测多个 LV 指标（面积、区域壁厚、尺寸和心脏相位），其精度高于单任务或非正则化多任务方法？
• RQ2 通过组套索正则化建模任务内相关性，对 LV 指标回归预测的泛化能力与一致性有何影响？
• RQ3 相位引导的时间约束在多大程度上提升了预测 LV 指标在心脏周期中的时间合理性与准确性？
• RQ4 端到端学习是否通过联合优化特征提取、时间建模与回归，能够优于级联或手工设计特征的方法？

主要发现

• FullLVNet 在区域壁厚上的平均绝对误差（MAE）为 1.41 ± 0.72 mm，显著优于基线方法 [19] 的 1.73 ± 0.97 mm。
• LV 尺寸的 MAE 为 2.68 ± 1.64 mm，当同时应用两种正则化类型时，从仅任务内正则化的 2.69 ± 1.67 mm 进一步降低至 2.68 ± 1.64 mm。
• LV 面积的 MAE 为 190 ± 128 mm²，当同时建模任务内与任务间相关性时达到最低误差。
• 当同时使用任务内与任务间相关性时，相位分类误差率降低至 10.4%，相比基线的 22.2% 显著改善。
• 消融实验表明，组套索（任务内）与相位引导约束（任务间）均对性能提升有贡献，后者提供中等但稳定的改进。
• 两步训练策略有效稳定了优化过程，显著提升了所有任务的收敛性与泛化能力。