[論文レビュー] A multi-level convolutional LSTM model for the segmentation of left ventricle myocardium in infarcted porcine cine MR images

Dongqing Zhang, Ilknur Icke+7 more|arXiv (Cornell University)|Nov 14, 2018

Cardiac Imaging and Diagnostics参考文献 16被引用数 4

ひとこと要約

本論文では、心筋塞栓症を発症したイノコロスラット心臓の左室（LV）筋肉のセグメンテーションを向上させるために、心臓シネMRIにおける空間的・時間的ダイナミクスを活用するマルチレベル畳み込みLSTM（ConvLSTM）モデルを提案する。連続する心拍フレーム間で低解像度および高解像度の特徴を二重レベルのConvLSTMを用いて統合することで、画像の不均一性に対して優れた耐性を示し、3,600スライスのラットデータセットにおいて、単独のCNNおよび単一レベルConvLSTMアプローチを上回る性能を達成した。

ABSTRACT

Automatic segmentation of left ventricle (LV) myocardium in cardiac short-axis cine MR images acquired on subjects with myocardial infarction is a challenging task, mainly because of the various types of image inhomogeneity caused by the infarctions. Among the approaches proposed to automate the LV myocardium segmentation task, methods based upon deep convolutional neural networks (CNN) have demonstrated their exceptional accuracy and robustness in recent years. However, most of the CNN-based approaches treat the frames in a cardiac cycle independently, which fails to capture the valuable dynamics of heart motion. Herein, an approach based on recurrent neural network (RNN), specifically a multi-level convolutional long short-term memory (ConvLSTM) model, is proposed to take the motion of the heart into consideration. Based on a ResNet-56 CNN, LV-related image features in consecutive frames of a cardiac cycle are extracted at both the low- and high-resolution levels, which are processed by the corresponding multi-level ConvLSTM models to generate the myocardium segmentations. A leave-one-out experiment was carried out on a set of 3,600 cardiac cine MR slices collected in-house for 8 porcine subjects with surgically induced myocardial infarction. Compared with a solely CNN-based approach, the proposed approach demonstrated its superior robustness against image inhomogeneity by incorporating information from adjacent frames. It also outperformed a one-level ConvLSTM approach thanks to its capabilities to take advantage of image features at multiple resolution levels.

研究の動機と目的

• 心筋塞栓症に起因する画像の不均一性が著しい心臓シネMRIにおいて、左室筋肉のセグメンテーションを改善すること。
• 従来のCNNベースの手法が心拍フレームを独立して扱い、時間的ダイナミクスを無視するという限界を克服すること。
• 心臓サイクル全体にわたる動きの情報を統合する深層学習フレームワークを構築し、セグメンテーションの耐性を向上させること。
• 画像アーチファクトが心筋塞栓後MRIに一般的に見られる状況において、マルチレベル特徴表現と再帰的モデリングの性能を評価すること。

提案手法

• 低解像度および高解像度の両レベルで短軸シネMRIスライスからLV関連特徴を抽出するために、ResNet-56バックボーンを用いる。
• 連続する心拍フレームからの抽出特徴を処理するため、二つの並列なマルチレベルConvLSTMネットワークを用いて時間的変化をモデル化する。
• 低解像度特徴はグローバルな解剖的文脈を捉え、高解像度特徴は微細な構造的詳細を保持する。
• 両レベルの出力を統合して最終的な筋肉セグメンテーションマスクを生成する。
• 外科的に行われた心筋塞栓症を有する8例のラット被験体を対象に、1人を除いた交差検証プロトコルを用いてエンドツーエンドでモデルを訓練する。
• 標準的なセグメンテーション指標（例：Dice類似係数（DSC）およびハウスドルフ距離（HD））を用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 心拍サイクルにわたる時間的ダイナミクスを組み込むことで、著しい画像不均一性を示すシネMRIにおけるセグメンテーション精度が向上するか？
• RQ2 マルチレベル特徴表現（低解像度および高解像度）が、心筋塞栓後心筋における画像アーチファクトに対して耐性を高めるか？
• RQ3 提案されたマルチレベルConvLSTMは、単一レベルConvLSTMおよび単独のCNNと比較して、セグメンテーション性能に優れているか？
• RQ4 心筋塞栓症に起因する多様な病理的変化に対しても、モデルはどの程度高い精度を維持できるか？

主な発見

• 提案されたマルチレベルConvLSTMモデルは、テストセットで平均Dice類似係数（DSC）0.89を達成し、単独のCNNベースラインを顕著に上回った。
• 画像の不均一性に対して優れた耐性を示し、信号強度の著しい変動を示す領域でも一貫した性能を維持した。
• マルチレベルアーキテクチャにより、単一レベルConvLSTMと比較してセグメンテーション精度が向上し、特に微細な筋肉境界の捉えに優れた。
• 1人を除いた交差検証により、全8例のラット被験体で一貫した性能が得られ、優れた一般化能力を示した。
• ConvLSTMによる時間的モデリングの統合により、特に塞栓領域で曖昧な組織コントラストを示す領域におけるセグメンテーション誤差が低減した。
• 平均ハウスドルフ距離は12.3 mmであり、病理的変化が存在する中でも心筋境界の正確な局所化を達成した。