[論文レビュー] Neural Multi-Scale Self-Supervised Registration for Echocardiogram Dense Tracking

Wentao Zhu, Yufang Huang+6 more|arXiv (Cornell University)|Jun 18, 2019

Advanced MRI Techniques and Applications参考文献 19被引用数 5

ひとこと要約

本稿では、心エコー画像のフレーム間の速度場をU-Netを用いてパrameter化し、マルチスケールで自己教師あり学習することで最適化する、ニューラル・マルチスケール自己教師あり登録（NMSR）という深層学習フレームワークを提案する。この手法により、心筋の動きおよび心臓血流の高密度追跡が向上する。NMSRは、ANTs よりも20倍速く、ノイズや大きな速度変動に対して優れたロバスト性を示し、最先端の精度を達成する。

ABSTRACT

Echocardiography has become routinely used in the diagnosis of cardiomyopathy and abnormal cardiac blood flow. However, manually measuring myocardial motion and cardiac blood flow from echocardiogram is time-consuming and error-prone. Computer algorithms that can automatically track and quantify myocardial motion and cardiac blood flow are highly sought after, but have not been very successful due to noise and high variability of echocardiography. In this work, we propose a neural multi-scale self-supervised registration (NMSR) method for automated myocardial and cardiac blood flow dense tracking. NMSR incorporates two novel components: 1) utilizing a deep neural net to parameterize the velocity field between two image frames, and 2) optimizing the parameters of the neural net in a sequential multi-scale fashion to account for large variations within the velocity field. Experiments demonstrate that NMSR yields significantly better registration accuracy than state-of-the-art methods, such as advanced normalization tools (ANTs) and VoxelMorph, for both myocardial and cardiac blood flow dense tracking. Our approach promises to provide a fully automated method for fast and accurate analyses of echocardiograms.

研究の動機と目的

• 心エコー画像における心筋の動きおよび心臓血流の不正確で遅い手動測定の課題に対処すること。
• 超音波画像におけるノイズ、大きな速度変動、および教師なしラベルの欠如といった、既存の登録手法の限界を克服すること。
• 心筋の変形および心臓血流の両方の高密度追跡を、完全に自動的かつエンドツーエンドで行うフレームワークを構築すること。
• 自己教師あり最適化を組み込むことで、トレーニングと推論の間のドメインギャップを低減し、未知のデータへの一般化能力を向上させること。
• 粗〜細いマルチスケール最適化戦略により、渦などの複雑な血行動態パターンをよりよく捉えることで、登録の精度とロバスト性を向上させること。

提案手法

• スキップ接続を備えたU-Netを用いて、連続する心エコー画像フレーム間の速度場をパrameter化し、変形場のエンドツーエンド学習を可能にする。
• 粗いスケールから細かいスケールへと段階的に最適化するマルチスケール最適化戦略を実装し、速度場推定の精度を段階的に向上させ、最適化の難易度を低減する。
• 教師なしラベルを必要とせず、再構成損失および滑らかさ損失を用いた自己教師あり学習を実装し、ネットワークパラメータを最適化する。
• 空間変換ネットワークを用いて、予測された速度場に基づき画像を変形させ、損失計算のための微分可能な画像再構成を可能にする。
• 各スケールで前のスケールの出力を入力として用いる階層的マルチスケールフレームワークを採用し、初期化と安定性を向上させる。
• 特にデータ量が少ない状況でも収束性と性能を向上させるために、事前学習済みモデルを初期化に活用する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、変動が激しい超音波データを扱う心エコー画像の高密度追跡において、自己教師あり深層学習フレームワークが、従来の手法や教師あり手法を上回ることができるか？
• RQ2 マルチスケール最適化は、大きな動きの変化を示す心エコー画像において、速度場推定の精度と安定性をどのように向上させるか？
• RQ3 自己教師あり最適化は、トレーニングと推論の間のドメインギャップをどの程度低減し、実世界の心エコー画像系列における一般化能力を向上させるか？
• RQ4 提案手法は、造影心エコー画像において、心室血流の渦のような複雑な血行動態パターンを信頼性高く検出できるか？
• RQ5 粗〜細いマルチスケール学習の統合は、単一スケールアプローチと比較して、速度場推定の品質にどのような影響を与えるか？

主な発見

• NMSRは、全手法の中で最高の性能を達成し、心筋および血流追跡の両タスクにおいて、MSEおよびCCの両指標でANTs や VoxelMorph を上回る。
• NMSR（1）は、NMSR V や NMSR VI よりも優れた精度を示し、再構成損失への過学習を低減するための逐次的マルチスケール最適化の有効性を裏付けている。
• 自己教師あり最適化戦略により、トレーニングと推論の間の推定ギャップが顕著に低減され、よりロバストで一般化可能な速度場予測が得られた。
• NMSRは、ANTs や VoxelMorph がノイズや不十分な正則化のためによく見過ごす、心臓血流の渦のパターンを的確に検出し、保持できた。
• NMSRはANTsに比べ20倍の高速化を達成し、1枚のGPUで49フレームの超音波シーケンスに対して推論時間を9分未満にまで短縮した。一方ANTsでは約3時間かかっていた。
• 事前学習モデルを初期化に用いることで、さらに性能が向上し、NMSR VI が NMSR V を上回った。これは、この分野におけるトランスファーラーニングの価値を裏付けている。