[論文レビュー] Direct Estimation of Regional Wall Thicknesses via Residual Recurrent Neural Network

Wufeng Xue, Ilanit Ben Nachum+4 more|arXiv (Cornell University)|May 26, 2017

Cardiac Imaging and Diagnostics参考文献 28被引用数 15

ひとこと要約

本稿では、心筋マヒの空間的および時間的依存関係を二重経路アーキテクチャを用いて捉えることで、心エコーMRIからの局所的壁厚さ（RWT）を直接的・エンドツーエンドに推定する新規な残差再帰型ニューラルネットワーク（ResRNN）を提案する。CNNはフレーム単位の埋め込みを処理し、Circle-RNNは動的心筋変形をモデル化する。145名の被験者全体で平均絶対誤差（MAE）1.44 mmを達成し、最新のセグメンテーションベースおよび二段階直接法を上回る性能を示した。

ABSTRACT

Accurate estimation of regional wall thicknesses (RWT) of left ventricular (LV) myocardium from cardiac MR sequences is of significant importance for identification and diagnosis of cardiac disease. Existing RWT estimation still relies on segmentation of LV myocardium, which requires strong prior information and user interaction. No work has been devoted into direct estimation of RWT from cardiac MR images due to the diverse shapes and structures for various subjects and cardiac diseases, as well as the complex regional deformation of LV myocardium during the systole and diastole phases of the cardiac cycle. In this paper, we present a newly proposed Residual Recurrent Neural Network (ResRNN) that fully leverages the spatial and temporal dynamics of LV myocardium to achieve accurate frame-wise RWT estimation. Our ResRNN comprises two paths: 1) a feed forward convolution neural network (CNN) for effective and robust CNN embedding learning of various cardiac images and preliminary estimation of RWT from each frame itself independently, and 2) a recurrent neural network (RNN) for further improving the estimation by modeling spatial and temporal dynamics of LV myocardium. For the RNN path, we design for cardiac sequences a Circle-RNN to eliminate the effect of null hidden input for the first time-step. Our ResRNN is capable of obtaining accurate estimation of cardiac RWT with Mean Absolute Error of 1.44mm (less than 1-pixel error) when validated on cardiac MR sequences of 145 subjects, evidencing its great potential in clinical cardiac function assessment.

研究の動機と目的

• 従来の時間のかかるセグメンテーションに依存する方法に起因する、心エコーMRIにおける直接的RWT推定手法の不足に対処すること。
• 心臓サイクル全体にわたり多様な心臓解剖学的構造と複雑な局所的心筋変形がもたらす課題を克服すること。
• 心臓画像系列における空間的および時間的依存関係を捉えるエンドツーエンドのディープラーニングフレームワークを構築すること。
• 手動セグメンテーションへの依存を排除し、RWT推定の精度と頑健性を向上させること。
• 周期的な心臓サイクルと左室壁セグメントの円形配置を活用し、初期隠れ状態がゼロであることに起因するバイアスを低減する新規なCircle-RNNを導入すること。

提案手法

• ResRNNは二重経路アーキテクチャを採用する：CNN経路は画像埋め込みを用いてフレーム単位でRWTを独立して推定し、RNN経路は残差の修正を実行する。
• RNN経路では、心臓フェーズにわたる長距離依存関係をモデル化するための時間的RNNと、隣接する心筋セグメント間の相互関係を捉えるための空間的RNNを用いる。
• 心臓サイクルの周期性と左室壁セグメントの円形配置を活用することで、初期隠れ状態がゼロであることに起因する影響を低減する新規なCircle-RNNを設計した。
• RNNがCNNの初期予測からの誤差を補正するように、残差学習戦略を用いてエンドツーエンドでネットワークを学習させる。
• 短軸のキネシオMRI系列を処理し、標準化された6セグメントモデルに従って各セグメントごとにRWTを推定する。
• 145名の心エコーMRI被験者からなるデータセットを用い、5分割交差検証でフレームワークを検証した。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションの前処理を要しない深層学習モデルは、心エコーMRIから局所的壁厚さを直接推定可能か？
• RQ2 心臓運動における空間的および時間的依存関係を効果的にモデル化することで、RWT推定の精度を向上させられるか？
• RQ3 新規のCircle-RNNアーキテクチャは、最初の心臓フレームにおけるゼロ初期隠れ状態に起因する誤差を低減できるか？
• RQ4 特徴抽出と回帰を分離する二段階手法と比較して、空間的・時間的ダイナミクスのエンドツーエンド学習は性能を向上させるか？
• RQ5 最新のセグメンテーションベースおよび直接推定手法と比較して、提案されたResRNNはRWT推定精度において優れているか？

主な発見

• 提案されたResRNNは、全145名の被験者で平均絶対誤差（MAE）1.44 mmを達成し、1ピクセル未満に相当する高精度な推定を実現した。
• 左室セグメンテーションのDiceスコアが0.9182に達するMax Flowセグメンテーションベース手法でさえ、MAEを55.14%も低減した。
• 最良の二段階直接法（MCDBN+RF）と比較して、誤差を12.73%低減した。エンドツーエンド学習の優位性を裏付けた。
• Circle-RNNは、特に初期心臓フェーズで、通常のRNNよりも性能を一貫して向上させた。最初のフレームからの動的情報をよりよく保持できた。
• Max Flowとは異なり、ResRNNは全心臓フレームにわたり一貫して低い推定誤差を維持した。最初のフレームからの距離が離れるほど誤差が増加する傾向は見られなかった。
• CNNによるフレーム単位推定とRNNによる残差修正を組み合わせた二重経路設計は、有効であることが判明した。両方のコンponentが最終的な精度向上に独自に寄与していた。