[論文レビュー] Full Quantification of Left Ventricle via Deep Multitask Learning Network Respecting Intra- and Inter-Task Relatedness

Wufeng Xue, Andrea Lum+4 more|arXiv (Cornell University)|Jun 6, 2017

Radiomics and Machine Learning in Medical Imaging参考文献 15被引用数 32

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）と再帰ニューラルネットワーク（RNN）を組み合わせたアーキテクチャを用い、心筋の局所的壁厚さ、面積、寸法、心拍周期を同時に定量化する深層マルチタスク学習ネットワークであるFullLVNetを提案する。内部タスク関連性と外部タスク関連性の共同モデリングにより、グループlassoによる内部タスクスパarsityと、時系列の一貫性を保つためのフェーズガイドド制約を適用することで、145例のMR被験者において、局所的壁厚さの平均絶対誤差（MAE）が1.41 mm、寸法が2.68 mm、面積が190 mm²、心拍周期分類の誤差率が10.4%という最先端の精度を達成した。

ABSTRACT

Cardiac left ventricle (LV) quantification is among the most clinically important tasks for identification and diagnosis of cardiac diseases, yet still a challenge due to the high variability of cardiac structure and the complexity of temporal dynamics. Full quantification, i.e., to simultaneously quantify all LV indices including two areas (cavity and myocardium), six regional wall thicknesses (RWT), three LV dimensions, and one cardiac phase, is even more challenging since the uncertain relatedness intra and inter each type of indices may hinder the learning procedure from better convergence and generalization. In this paper, we propose a newly-designed multitask learning network (FullLVNet), which is constituted by a deep convolution neural network (CNN) for expressive feature embedding of cardiac structure; two followed parallel recurrent neural network (RNN) modules for temporal dynamic modeling; and four linear models for the final estimation. During the final estimation, both intra- and inter-task relatedness are modeled to enforce improvement of generalization: 1) respecting intra-task relatedness, group lasso is applied to each of the regression tasks for sparse and common feature selection and consistent prediction; 2) respecting inter-task relatedness, three phase-guided constraints are proposed to penalize violation of the temporal behavior of the obtained LV indices. Experiments on MR sequences of 145 subjects show that FullLVNet achieves high accurate prediction with our intra- and inter-task relatedness, leading to MAE of 190mm$^2$, 1.41mm, 2.68mm for average areas, RWT, dimensions and error rate of 10.4\% for the phase classification. This endows our method a great potential in comprehensive clinical assessment of global, regional and dynamic cardiac function.

研究の動機と目的

• 心エコーMRI画像から、面積、局所的壁厚さ、寸法、心拍周期を含む左室（LV）インデックスの包括的定量を実現する挑戦に応えること。
• 従来の手法の限界（特徴表現が弱い、時系列モデリングが不十分、エンドツーエンド学習ではない）を克服するため、統合的な深層学習フレームワークを設計すること。
• 各回帰タスク内での内部タスク関連性（intra-task relatedness）と、異なるLVインデックス間の外部タスク関連性（inter-task relatedness）を明示的にモデリングすることで、モデルの汎化性能と収束性を向上させること。
• 手動セグメンテーションに依存せずに、全身的・局所的・動的心機能の包括的かつ自動的評価を可能にすること。

提案手法

• FullLVNetは、短軸断層画像からタスクに適応した特徴表現を抽出するため、深層畳み込みニューラルネットワーク（CNN）を用いる。
• 心拍周期にわたる時系列的ダイナミクスをモデル化するため、2つの並列な再帰ニューラルネットワーク（RNN）モジュールを採用し、LVインデックスの変化に一貫性を保つ。
• 3つのLV面積／寸法／RWTタスクと1つの分類ヘッドを備えた4つの独立した線形回帰ヘッドが、それぞれのインデックスを推定する。
• 各回帰タスク内でグループlasso正則化を適用し、スパースで共有される特徴選択を促進し、内部タスクの一貫性を向上させる。
• 期待される時系列的挙動（例：収縮期に心腔面積が減少する）の違反をペナルティ化するため、3つのフェーズガイドド制約を導入し、外部タスク関連性をモデル化する。
• 2段階の訓練戦略を採用：第1段階では、フェーズ分類器からの逆誤差伝搬を無効にし、CNN、最初のRNN、回帰ヘッドを訓練する。第2段階では、2番目のRNNと分類器を微調整しながら、初期層は固定した状態を維持する。

実験結果

リサーチクエスチョン

• RQ1 グループlasso正則化による内部タスク関連性のモデリングと、フェーズガイドド制約による外部タスク関連性のモデリングを組み合わせた深層マルチタスク学習フレームワークは、単一タスクや非正則化マルチタスク手法に比べ、複数のLVインデックス（面積、局所的壁厚さ、寸法、心拍周期）の予測精度を向上させることができるか？
• RQ2 グループlasso正則化による内部タスク関連性のモデリングは、LVインデックスの回帰予測の汎化性能と一貫性にどのように影響を与えるか？
• RQ3 フェーズガイドド時系列制約を導入することで、心拍周期全体にわたるLVインデックスの時系列的妥当性と予測精度はどの程度向上するか？
• RQ4 特徴抽出、時系列モデリング、回帰の共同最適化を実現するエンドツーエンド学習は、段階的または手作業特徴抽出手法に比べ、より優れた性能を発揮できるか？

主な発見

• FullLVNetは、局所的壁厚さの平均絶対誤差（MAE）を1.41 ± 0.72 mmに達成し、ベースライン手法[19]（1.73 ± 0.97 mm）を顕著に上回った。
• LV寸法のMAEは2.68 ± 1.64 mmであり、内部正則化のみ（2.69 ± 1.67 mm）から両正則化タイプを適用した場合（2.68 ± 1.64 mm）にさらに改善された。
• LV面積のMAEは190 ± 128 mm²であり、内部および外部タスク関連性を両方モデリングした場合に最小の誤差が達成された。
• 両正則化タイプを適用した場合、心拍周期分類の誤差率は22.2%のベースラインから10.4%に低下した。
• アブレーションスタディの結果、グループlasso（内部タスク）とフェーズガイドド制約（外部タスク）の両方が性能向上に寄与しており、後者は中程度だが一貫した改善をもたらした。
• 2段階の訓練戦略は最適化の安定化に効果的であり、すべてのタスクにおいて優れた収束性と汎化性能をもたらした。