[論文レビュー] A survey on deep learning in medical image registration: new technologies, uncertainty, evaluation metrics, and beyond

Junyu Chen, Yihao Liu+6 more|arXiv (Cornell University)|Jul 28, 2023

Medical Image Segmentation Techniques被引用数 7

ひとこと要約

本調査では、深層学習を用いた医療画像登錧に関する包括的かつ最新のレビューを提供しており、ネットワークアーキテクチャ、損失関数、不確実性推定、評価指標の分野における最近の進展をカバーしている。微分可能類似尺度、微分同相正則化、不確実性の定量的評価といった新規技術に重点を置き、性能評価と臨床応用性の面での批判的分析を提供している。

ABSTRACT

Deep learning technologies have dramatically reshaped the field of medical image registration over the past decade. The initial developments, such as regression-based and U-Net-based networks, established the foundation for deep learning in image registration. Subsequent progress has been made in various aspects of deep learning-based registration, including similarity measures, deformation regularizations, network architectures, and uncertainty estimation. These advancements have not only enriched the field of image registration but have also facilitated its application in a wide range of tasks, including atlas construction, multi-atlas segmentation, motion estimation, and 2D-3D registration. In this paper, we present a comprehensive overview of the most recent advancements in deep learning-based image registration. We begin with a concise introduction to the core concepts of deep learning-based image registration. Then, we delve into innovative network architectures, loss functions specific to registration, and methods for estimating registration uncertainty. Additionally, this paper explores appropriate evaluation metrics for assessing the performance of deep learning models in registration tasks. Finally, we highlight the practical applications of these novel techniques in medical imaging and discuss the future prospects of deep learning-based image registration.

研究の動機と目的

• 既存の調査におけるギャップを埋めるべく、深層学習に基づく医療画像登錧分野における最新の進展をタイムリーかつ包括的にレビューすること。
• 画像登錧に特化したネットワークアーキテクチャ、損失関数、正則化手法における最近の革新を分析すること。
• 深層学習モデルにおける登錧の不確実性推定を形式的に定式化し、検討すること。これは重要ではあるが、まだ十分に掘り下げられていない分野である。
• 現代的な指標を評価・比較し、登錧の正確性、滑らかさ、耐性についての評価を行うこと。
• アトラス構築、マルチアトラスセグメンテーション、モーショントラッキングといった臨床的タスクにおける実用的応用を強調すること。

提案手法

• 2018年から2023年までの間、主要な医療画像およびAIカンferenceおよびジャーナルから250篇以上の最新論文を体系的に調査した。
• アーキテクチャの種別に基づいて深層学習ベースの登錧手法を分類・分析した：可変登錧にはエンコーダ・デコーダ型（U-Net、ResNetベース）を、剛体／アフィン登錧にはエンコーダーのみのアーキテクチャを採用した。
• 微分可能類似尺度（例：正規化相互相関、局所的相互相関）や滑らかさおよび微分同相性を強制する正則化損失関数を含む、新規損失関数をレビューした。
• 予測の信頼性を定量化するため、モンテカルロドロップアウト、ベイジアンニューラルネットワーク、アンサンブル手法を含む不確実性推定技術を検討した。
• ターゲット登錧誤差（TRE）、Diceスコア、ヤコビアン行列式を用いて登錧性能を評価した。
• 時間的整合性、計算効率、可変長の画像シーケンス処理を含む、4Dモーショントラッキングにおける新興的課題を議論した。

実験結果

リサーチクエスチョン

• RQ1 最近の深層学習アーキテクチャは、従来の反復的最適化手法（例：SyN や LDDMM）と比較して、医療画像登錧の正確性と効率性をどのように向上させたか？
• RQ2 深層学習ベースの登錧において、物理的に妥当で滑らかな変形場を保証するための、最も効果的な損失関数と正則化戦略は何か？
• RQ3 深層学習ベースの画像登錧における不確実性は、どのように形式的に定義され、定量的に評価できるか？臨床意思決定支援に寄与する。
• RQ4 臨床現場における深層学習ベースの登錧モデルの品質、正確性、耐性を最もよく反映する評価指標は何か？
• RQ5 動的画像（例：4D-CT、cine-MRI）における長時間にわたる時間的トラッキングへの深層学習ベースの登錧の拡張において、主な課題と機会は何か？

主な発見

• 深層学習ベースの登錧手法は、従来の反復的最適化手法（例：SyN や LDDMM）と比較して、しばしば桁違いに高速化されており、著しいスピードアップを達成している。
• U-Net や ResNet ベースのエンコーダ・デコーダネットワークは、可変登錧の分野で支配的アーキテクチャとなり、高解像度の密な変位場予測を可能にした。
• 局所的相互相関や正規化相互情報量といった微分可能類似尺度の導入により、低コントラストまたはコントラストが低いモodalitiyの状況でも登錧の正確性が向上した。
• モンテカルロドロップアウトやベイジアンネットワークによる不確実性推定は、信頼性の低い登錧領域を特定する信頼性の高い信頼度マップを提供し、臨床ワークフローでの支援に寄与している。
• 臨床的関連性が強いターゲット登錧誤差（TRE）や解剖的構造におけるDiceスコアの評価は、強い相関を示している一方で、ヤコビアン行列式の分析により、現代のモデルでは滑らかさと微分同相性の向上が確認された。
• 学習ベースのアトラス構築手法は、従来の平均化手法と比較して、より鋭くコントラストの高いテンプレートを生成し、脳画像にとどまらず心臓や腹部などの臓器にも広く応用可能である。