[論文レビュー] 3D Convolutional Neural Networks Image Registration Based on Efficient Supervised Learning from Artificial Deformations

Hessam Sokooti, Bob D. de Vos+6 more|arXiv (Cornell University)|Aug 27, 2019

Medical Image Segmentation Techniques参考文献 26被引用数 40

ひとこと要約

本論文は RegNet を提示する。人工的な変位ベクトル場（DVF）で教師あり学習する3D CNNベースの非剛性画像配准法で、胸部 CT データセットで評価し、マルチステージ設定で約 2–3 mm の TRE を高速推論で実現する。

ABSTRACT

We propose a supervised nonrigid image registration method, trained using artificial displacement vector fields (DVF), for which we propose and compare three network architectures. The artificial DVFs allow training in a fully supervised and voxel-wise dense manner, but without the cost usually associated with the creation of densely labeled data. We propose a scheme to artificially generate DVFs, and for chest CT registration augment these with simulated respiratory motion. The proposed architectures are embedded in a multi-stage approach, to increase the capture range of the proposed networks in order to more accurately predict larger displacements. The proposed method, RegNet, is evaluated on multiple databases of chest CT scans and achieved a target registration error of 2.32 $\pm$ 5.33 mm and 1.86 $\pm$ 2.12 mm on SPREAD and DIR-Lab-4DCT studies, respectively. The average inference time of RegNet with two stages is about 2.2 s.

研究の動機と目的

• 人工的に生成された DVF を用いた監視により、手動のボクセル単位の真値なしに、頑健な非剛性画像配准を動機づけ、実現する。
• 大きな変位をより適切に揃えるため、捕捉範囲を拡張するマルチステージ配列フレームワークを開発する。
• 効率的な3D DVF 予測のために、3つのネットワークアーキテクチャ（U-Net ベース、Multi-View、U-Net Advanced）を探索・比較する。
• RegNet を複数の胸部 CT データベース（SPREAD、DIR-Lab-4DCT、DIR-Lab-COPDgene）で評価し、従来の elastix ベースの配准と比較する。
• 実用に適した実行時間が実現可能であることを示す。

提案手法

• 密な監視付き学習ターゲットを作成するために、三つのカテゴリー（単一周波数、混合周波数、呼吸運動）の人工DVFと単位DVFを生成する。
• 人工DVFを、呼吸運動のシミュレーションと強度モデルで拡張し、現実的な訓練ペアを作成する。
• 大きな変位を捉えるため、マルチステージのパイプライン（1/4、1/2、全解像度までダウンして）で、3 つの RegNet アーキテクチャ（U-Net、Multi-View、U-Net Advanced）を評価する。
• 予測DVFと真のDVFの間の Huber 損失と、滑らかさを促進するベンディングエネルギー正則化項を用いて学習する。
• ランドマークに対する TRE および局所体積変化を監視するためのヤコビ統計量を用いて性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 人工DVFによる密な監督付き学習は、手動のボクセル単位の真値なしに、正確な非剛性配准を可能にするか？
• RQ2 胸部 CT 配列において、マルチステージの配列パイプラインは大きな変位の捕捉範囲と精度を改善するか？
• RQ3 3D DVF 予測における精度・メモリ・推論時間のトレードオフで、どの RegNet アーキテクチャ（U-Net、Multi-View、U-Net Advanced）が最適か？
• RQ4 SPREAD、DIR-Lab-4DCT、DIR-Lab-COPDgene データセットにおいて、RegNet は従来の elastix ベースの配准や他の CNN ベース手法とどう比較されるか？
• RQ5 呼吸運動の拡張を含めることが、吸気–呼気データセットの配准精度にどのような影響を与えるか？

主な発見

• RegNet は SPREAD で 2.32 ± 5.33 mm、DIR-Lab-4DCT で 1.86 ± 2.12 mm の目標登録誤差を、2 ステージ構成（および関連する派生）で達成する。
• 三つのアーキテクチャ比較は、マルチステージ、パッチベースの設計と U-Net スタイルのネットワークを効果的に組み合わせて、捕捉範囲と精度を向上させることを示している。
• 評価データセットで、マルチステージネットワークは一ステージ対を一貫して上回る。
• 推論時間は有利で、報告された設定の下で二段階 RegNet は対象ごと約 2.2 秒を提供する。
• 人工 DVF（S、M、R カテゴリ）と identity を用いた学習は、いくつかのケースで従来の B-spline elastix 登録と比較して競争力のある TRE をもたらす。