[論文レビュー] Affine Medical Image Registration with Coarse-to-Fine Vision Transformer

Tony C. W. Mok, Albert C. S. Chung|arXiv (Cornell University)|Mar 29, 2022

Medical Image Segmentation Techniques被引用数 5

ひとこと要約

本稿では、3次元アフィン医療画像登錠のための新規な粗くから細かくまでのビジョントランスフォーマー、C2FViTを提案する。この手法は、グローバル自己自己注意とマルチスケール特徴学習を活用し、CNNベースの手法に比べて精度、ロバスト性、一般化性能を向上させる。従来の手法（ANTs や Elastix）と同等の性能を達成しながら、学習ベースの手法の高速推論速度を維持する。

ABSTRACT

Affine registration is indispensable in a comprehensive medical image registration pipeline. However, only a few studies focus on fast and robust affine registration algorithms. Most of these studies utilize convolutional neural networks (CNNs) to learn joint affine and non-parametric registration, while the standalone performance of the affine subnetwork is less explored. Moreover, existing CNN-based affine registration approaches focus either on the local misalignment or the global orientation and position of the input to predict the affine transformation matrix, which are sensitive to spatial initialization and exhibit limited generalizability apart from the training dataset. In this paper, we present a fast and robust learning-based algorithm, Coarse-to-Fine Vision Transformer (C2FViT), for 3D affine medical image registration. Our method naturally leverages the global connectivity and locality of the convolutional vision transformer and the multi-resolution strategy to learn the global affine registration. We evaluate our method on 3D brain atlas registration and template-matching normalization. Comprehensive results demonstrate that our method is superior to the existing CNNs-based affine registration methods in terms of registration accuracy, robustness and generalizability while preserving the runtime advantage of the learning-based methods. The source code is available at https://github.com/cwmok/C2FViT.

研究の動機と目的

• CNNベースのアフィン登錕手法が大規模な初期不整合に対処する能力に制限を受けることに対処する。
• 局所的な畳み込みインダクティブバイアスよりも、グローバルな幾何的依存関係をより効果的に捉える学習ベースのアフィン登錕フレームワークを開発する。
• 特に困難な空間的初期化条件下でも、3次元脳画像登錕タスクにおける登錕精度とロバスト性を向上させる。
• 深層学習ベースの手法の実行時間効率を維持しつつ、従来の最適化ベースのアフィン登錕手法と同等またはそれを上回る性能を達成する。
• 提案された枠組みが、最小限のアーキテクチャ変更でさまざまなパrametric登錕タスクに適応可能であることを示す。

提案手法

• C2FViTは、複数のスケールで画像ペアを処理する粗くから細かくまでのアーキテクチャを採用し、段階的にアフィン変換推定値を精緻化する。
• 局所的なインダクティブバイアスとグローバル自己自己注意を組み合わせた畳み込みビジョントランスフォーマー（CvT）バックボーンを用いることで、長距離の空間的依存関係をより良くモデル化する。
• マルチスケール戦略により、スケール全体にわたってグローバルな方向性と微細な空間的整合性特徴を捉えることができる。
• 推論中に段階的な空間的変換を適用することで、特に大規模な初期不整合下でも訓練の安定化と収束の向上を図る。
• 幾何的事前知識として重心（CoM）初期化を用いることで、ロバスト性を向上させ、ランダムな空間的初期化への依存度を低減する。
• 解剖的ラベルを用いた半教師あり学習を導入し、モデルパラメータや計算コストの増加なしに一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模な初期不整合下において、ビジョントランスフォーマー基盤アーキテクチャがCNNベースの手法を上回る性能を示せるか？
• RQ2 提案されたC2FViTモデルは、学習分布外の未観測データセットに対しても一般化できるか？
• RQ3 グローバル自己自己注意とマルチスケール処理の統合が、登錕精度とロバスト性をどの程度向上させるか？
• RQ4 従来の最適化ベースのアフィン登錕手法と同等の性能を達成しながらも、高速な推論速度を維持できるか？
• RQ5 段階的空間変換やCoM初期化といったアーキテクチャ的要素が、モデルの性能と安定性に与える影響はいかほどか？

主な発見

• LPBAデータセットにおいて、C2FViTはDiceスコア0.66、HD95が2.96を達成し、ANTs や Elastix といった従来手法と同等の性能を示した。
• 半教師あり学習を適用したモデルは、OASISデータセットでDiceスコア0.69、HD95が2.81を記録し、非教師ありおよび教師ありのベースラインを上回った。
• C2FViTは平均0.09秒/回の高速推論を維持しており、ANTs や Elastix よりも顕著に高速であった。
• アブレーションスタディの結果、段階的空間変換とCoM初期化により、Diceスコアは+0.02、HD95は-0.37の改善が確認された。
• 直接行列推定と比較して、分離型アフィン変換モデルは精度をわずかに向上（Dice +0.02）させ、実行時間オーバーヘッドは最小限に抑えた。
• モデルは未観測データセットに対しても良好な一般化性能を示し、学習分布外のデータでもロバストであることが確認された。