[論文レビュー] Test-Time Training for Deformable Multi-Scale Image Registration

Wentao Zhu, Yufang Huang+4 more|arXiv (Cornell University)|Mar 25, 2021

Medical Image Segmentation Techniques参考文献 46被引用数 4

ひとこと要約

本稿では、非剛性画像登録のためのテスト時学習フレームワークを提案し、マルチスケール深層ネットワークを用いることで、ノイジーで著しく変形した医用画像における汎化性能を向上させる。推論中にスケールごとに登録フィールドを繰り返し精緻化することで、セグメンテーションおよび密追跡タスクにおいてVoxelMorphやANTsを上回る精度を達成し、超音波画像シーケンスではANTsの20倍の高速化を実現した。

ABSTRACT

Registration is a fundamental task in medical robotics and is often a crucial step for many downstream tasks such as motion analysis, intra-operative tracking and image segmentation. Popular registration methods such as ANTs and NiftyReg optimize objective functions for each pair of images from scratch, which are time-consuming for 3D and sequential images with complex deformations. Recently, deep learning-based registration approaches such as VoxelMorph have been emerging and achieve competitive performance. In this work, we construct a test-time training for deep deformable image registration to improve the generalization ability of conventional learning-based registration model. We design multi-scale deep networks to consecutively model the residual deformations, which is effective for high variational deformations. Extensive experiments validate the effectiveness of multi-scale deep registration with test-time training based on Dice coefficient for image segmentation and mean square error (MSE), normalized local cross-correlation (NLCC) for tissue dense tracking tasks. Two videos are in https://www.youtube.com/watch?v=NvLrCaqCiAE and https://www.youtube.com/watch?v=pEA6ZmtTNuQ

研究の動機と目的

• 深層学習ベースの画像登録におけるドメインシフト問題に対処する。特に、ノイジーまたは著しく変形したテスト画像においてモデルの汎化性能が著しく低下する問題を解決する。
• 心エコー図や3次元MR画像のような臨床的課題の高い状況において、自己教師付き深層登録のロバスト性と精度を向上させる。
• テスト時学習により推論中にモデルを適応可能にすることで、訓練データとテストデータの汎化ギャップを低減する。
• 粗くから細かくまでのマルチスケール最適化戦略を用いて、大規模で複雑な変形を扱う。この戦略では、逐次的に残差変形をモデル化する。
• 教師なしの変形フィールドのラベルが不要な状況でも、画像セグメンテーションや密組織追跡などの下流タスクに高精度な登録を実現する。

提案手法

• テスト時学習を導入し、各テスト画像ペアに対して自己教師付き最適化を用いて深層ネットワークを微調整することで、訓練分布とテスト分布の間のドメインシフトを低減する。
• 粗くから細かくまでの複数スケールで残差変形フィールドを推定するマルチスケール登録フレームワークを設計し、最適化の安定性と精度を向上させる。
• 各スケールでU-Netアーキテクチャを用いて残差変形フィールドを予測し、1つのスケールの出力を次のスケールの入力として使用することで、段階的かつ逐次的な精緻化を実現する。
• テスト時最適化中に、Dice係数、MSE、および正規化局所相互相関（NLCC）などの類似度指標を自己教師信号として用いる。
• ネットワークアーキテクチャおよび最適化プロセスに微分同相性制約を暗黙的に統合し、最終的な変形フィールドの位相的一致性を保証する。
• 多様な医用画像データ上でエンドツーエンドの訓練を実施後、教師なしのラベルを一切使用せず、移動画像と固定画像のペアのみを用いてテスト時適応を実行する。

Figure 1: Framework of multi-scale deep registration networks with test-time training in scale $s$ .

実験結果

リサーチクエスチョン

• RQ1 テスト時学習は、ノイジーで著しく変形した医用画像において、深層学習ベースの画像登録の汎化性能を顕著に向上させるか？
• RQ2 マルチスケールの残差変形モデリングは、大規模な変形が生じる状況下で、登録の精度と安定性をどのように向上させるか？
• RQ3 提案手法は、VoxelMorphやANTsといった既存の自己教師付き学習ベース手法および従来の手法に対して、セグメンテーションおよび密追跡タスクの両方で優れた性能を示すか？
• RQ4 テスト時学習の計算コストはどの程度で、臨床応用に実用的であるか？
• RQ5 粗くから細かくまでのマルチスケール戦略は、最適化の困難さを軽減し、複雑な登録シナリオにおける収束性を向上させるか？

主な発見

• 提案されたマルチスケール登録を用いたテスト時学習（SSMSR）は、3次元MR画像において顕著に登録精度を向上させ、VoxelMorphやANTsと比較してセグメンテーションタスクにおけるDiceスコアが向上した。
• 心エコー画像シーケンスにおいては、SSMSRはVoxelMorphやANTsよりも滑らかで解剖学的に妥当な変形フィールドを生成し、血流追跡において明確に識別可能な渦巻き模様を示した。
• ANTsに比べ20倍の高速化を達成し、1枚のNVIDIA 1080 Ti GPU上で49フレームの超音波シーケンスの全テスト時間が9分未満で実現した。
• テスト時学習により、特にノイジーで大規模な変形を示す画像において、訓練時とテスト時の性能ギャップが縮小され、定性的および定量的比較で明確に示された。
• マルチスケールの残差アプローチにより、大規模な変位変動と微細な変位変動の両方をよりよくモデル化でき、心筋運動や血流パターンの可視化が向上したことが裏付けられた。
• 密組織追跡のMSEおよび正規化局所相互相関（NLCC）指標において、SSMSRはVoxelMorphおよびANTsを常に上回った。

Figure 2: Reconstruction comparison for cardiac blood from test-time training based multi-scale registration (scale 1/8) w/o (first), i.e., VoxelMorph [ 34 ] , w/ (middle) test-time training and ground truth image (last column).