[論文レビュー] Tackling the Problem of Large Deformations in Deep Learning Based Medical Image Registration Using Displacement Embeddings

Lasse Hansen, Mattias P. Heinrich‬|arXiv (Cornell University)|May 27, 2020

Medical Imaging Techniques and Applications被引用数 5

ひとこと要約

本論文は、密度的な変位場を低次元埋め込み空間にマッピングすることにより、大規模な変形に対処する新しい深層学習フレームワークを提案する。U-Netベースの手法よりも高い精度を達成する。スパースなキーポイント特徴量と学習された埋め込みを用いることで、深吸気から浅呼吸へのCT肺画像登録において2 mm未満のターゲット登録誤差を達成し、最先端の学習ベースの手法を上回る性能を示した。

ABSTRACT

Though, deep learning based medical image registration is currently starting to show promising advances, often, it still fells behind conventional frameworks in terms of registration accuracy. This is especially true for applications where large deformations exist, such as registration of interpatient abdominal MRI or inhale-to-exhale CT lung registration. Most current works use U-Net-like architectures to predict dense displacement fields from the input images in different supervised and unsupervised settings. We believe that the U-Net architecture itself to some level limits the ability to predict large deformations (even when using multilevel strategies) and therefore propose a novel approach, where the input images are mapped into a displacement space and final registrations are reconstructed from this embedding. Experiments on inhale-to-exhale CT lung registration demonstrate the ability of our architecture to predict large deformations in a single forward path through our network (leading to errors below 2 mm).

研究の動機と目的

• U-Netベースのアーキテクチャが医療画像登録における大規模変形を処理する能力に制限を受ける問題に対処すること。
• 患者間の腹部MRIや深呼吸から浅呼吸へのCT肺画像登録といった困難なケースにおける登録精度を向上させること。
• 高解像度の特徴マップを低次元埋め込みに圧縮することで、変位マップ学習の計算負荷を低減すること。
• キーポイントと埋め込みを用いた変位関係の明示的モデリングが、密度的な変位場の直接回帰よりも優れた性能をもたらすことを示すこと。

提案手法

• 本手法は、固定画像と移動画像からMINDに類似した特徴量を抽出するために軽量なU-Netを用いる。
• 固定画像の特徴量は、Foerstnerの利点オペレータを用いて約1500個のキーポイントでスパースにサンプリングされ、探索空間が縮小される。
• 変位マップは、対応する位置における固定特徴量パッチと移動画像内のずれたパッチを比較することで構築される。
• 主成分分析（PCA）を用いて、変位マップを低次元埋め込み空間（256または512次元）に圧縮し、次元を約98％または約95％削減する。
• キーポイントグラフ上でグラフラプラシアンの拡散を適用することで、空間的一致性を強化する正則化が施される。
• 最終的な変位は埋め込み空間から再構成され、エンドツーエンドの学習と推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 キーポイントと埋め込みを用いた変位関係の明示的モデリングは、密度的な変位場の直接回帰と比較して、大規模変形における登録精度を向上させるか？
• RQ2 学習されたまたはPCAベースの埋め込み空間に変位マップを圧縮することで、計算コストを低減しつつも登録精度を維持できるか？
• RQ3 スパースな特徴マッチングを用いたキーポイントベースのアプローチは、挑戦的な肺CT登録タスクにおいて、マルチレベルU-Netアーキテクチャを上回る性能を示せるか？
• RQ4 本手法は、大規模変形を伴うベンチマークデータセットにおいて、最先端の学習ベースの登録フレームワークと比較してどのように性能を発揮するか？

主な発見

• 本手法は、DIR-Lab 4D-CTデータセットにおいて平均ターゲット登録誤差（TRE）1.97 mm（±1.42）を達成し、比較したすべての学習ベース手法を上回った。
• DIR-Lab COPDデータセットでは、平均TREが3.42 mm（±5.63）に達し、比較したすべての手法の中で最低であった。
• 本手法は4D-CTデータセットで2 mm未満の登録誤差を達成し、大規模変形タスクにおける優れた性能を示した。
• 512次元のPCA埋め込みを用いることで、変位空間を約95％圧縮し、計算コストを顕著に低減しながらも高い精度を維持した。
• 本手法は、VoxelMorph や mlVIRNET といった高度なU-Netベースのモデルですら、同じベンチマークで高い誤差を示したのに対し、優れた性能を発揮した。
• キーポイントと埋め込みによる変位関係の明示的モデリングは、密度的フィールド予測の直接的アプローチに対する有望な代替手段であると考えられる。