[論文レビュー] AutoFuse: Automatic Fusion Networks for Deformable Medical Image Registration

Mingyuan Meng, Michael Fulham+3 more|arXiv (Cornell University)|Sep 11, 2023

Medical Image Segmentation Techniques被引用数 4

ひとこと要約

AutoFuseは、トレーニング中に複数のネットワーク位置で特徴を動的に統合する、データ駆動型で自動的な統合ネットワークを提案する。この手法は、学習可能な統合ゲートモジュールを用いて最適な統合戦略を学習し、8つの公開データセットにおける異・同患者登録タスクにおいて、最新の非教師ありおよび半教師あり手法を上回る性能を発揮する。

ABSTRACT

Deformable image registration aims to find a dense non-linear spatial correspondence between a pair of images, which is a crucial step for many medical tasks such as tumor growth monitoring and population analysis. Recently, Deep Neural Networks (DNNs) have been widely recognized for their ability to perform fast end-to-end registration. However, DNN-based registration needs to explore the spatial information of each image and fuse this information to characterize spatial correspondence. This raises an essential question: what is the optimal fusion strategy to characterize spatial correspondence? Existing fusion strategies (e.g., early fusion, late fusion) were empirically designed to fuse information by manually defined prior knowledge, which inevitably constrains the registration performance within the limits of empirical designs. In this study, we depart from existing empirically-designed fusion strategies and develop a data-driven fusion strategy for deformable image registration. To achieve this, we propose an Automatic Fusion network (AutoFuse) that provides flexibility to fuse information at many potential locations within the network. A Fusion Gate (FG) module is also proposed to control how to fuse information at each potential network location based on training data. Our AutoFuse can automatically optimize its fusion strategy during training and can be generalizable to both unsupervised registration (without any labels) and semi-supervised registration (with weak labels provided for partial training data). Extensive experiments on two well-benchmarked medical registration tasks (inter- and intra-patient registration) with eight public datasets show that our AutoFuse outperforms state-of-the-art unsupervised and semi-supervised registration methods.

研究の動機と目的

• 深層学習ベースの可変的画像登録における手動で設計された統合戦略の限界を解消すること。
• 特徴統合の位置と重みを自動的に最適化できる柔軟でエンドツーエンドでトレーニング可能な統合メカニズムを開発すること。
• 教師データのラベルに依存せず、非教師ありおよび半教師ありの登録設定に一般化できること。
• ヒューリスティックな設計ではなく、データ駆動型の統合により最適な空間的対応関係を学習することで、登録精度を向上させること。
• 多様な臨床タスクに適用可能なスケーラブルで柔軟な医療画像登録フレームワークを提供すること。

提案手法

• 深層ニューラルネットワークアーキテクチャ内の複数の潜在的統合位置で特徴統合を可能にする自動統合ネットワーク（AutoFuse）を提案する。
• 各統合ポイントで異なるモodalリティ入力からの特徴をどのように組み合わせるかを動的に制御する、学習可能な統合ゲート（FG）モジュールを導入する。
• バックプロパゲーション中に最適な統合戦略を学習できる微分可能アーキテクチャ探索機構を採用する。
• 教師データの変形フィールドを必要としない損失関数を活用することで、非教師ありおよび半教師ありのトレーニングをサポートする。
• スキップ接続を備えたU-Netに類似したエンコーダ・デコーダバックボーンを用い、複数のレベルにFGモジュールを挿入してマルチスケール統合を実現する。
• 空間的対応関係を最適化するために、正規化相互相関や相互情報量などの微分可能類似度損失を用いて、ネットワーク全体をエンドツーエンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 可変的医療画像登録における空間的対応関係を学習するための最適な統合戦略は何か？
• RQ2 データ駆動型の統合メカニズムは、初期段階や最終段階の統合といった手作業で設計された戦略を上回れるか？
• RQ3 自動統合ネットワークは、非教師ありおよび半教師ありの登録シナリオにどれほど一般化できるか？
• RQ4 学習可能な統合ゲートは、多様な解剖的構造や画像コントラストに適応できるか？
• RQ5 統合位置と重みのエンドツーエンド学習は、ベンチマークデータセットにおける登録精度を向上させるか？

主な発見

• AutoFuseは、異・同患者登録タスクにおいて8つの公開医療画像データセットで最先端の性能を達成した。
• 本手法は、臓器セグメンテーションのDiceスコアとターゲット登録誤差（TRE）の両面で、既存の非教師ありおよび半教師あり登録ネットワークを顕著に上回った。
• 統合ゲートモジュールは、ネットワークの深さに応じて関連する特徴を優先的に学習し、空間的対応関係の学習を向上させた。
• AutoFuseは半教師あり設定にも良好に一般化され、トレーニングデータに部分的なラベルしか与えられていない場合でも高い精度を達成した。
• アブレーションスタディにより、固定された初期または最終段階の統合戦略よりも、自動統合メカニズムがより効果的であることが確認された。
• CT、MR、PETスキャンを含む多様な画像モodalリティにおいて、モデルのロバスト性が示された。