[論文レビュー] NODEO: A Neural Ordinary Differential Equation Based Optimization Framework for Deformable Image Registration

Yifan Wu, Tom Z. Jiahao+4 more|arXiv (Cornell University)|Aug 7, 2021

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、深層ニューラルネットワークを用いて連続的な力学的システムとしてボクセル軌道をモデル化することで、変形画像登録のための新しいニューラル常微分方程式（NODE）ベースのフレームワーク、NODEOを提案する。NODEを用いて学習可能な速度場を最適化することで、最先端の精度と微分同相性の正則化を達成し、OASISおよびCANDIデータセットにおいて、Diceスコアの向上とほぼゼロに近い負のヤコビアン行列式の値を達成し、ベンチマークを上回る性能を発揮した。

ABSTRACT

Deformable image registration (DIR), aiming to find spatial correspondence between images, is one of the most critical problems in the domain of medical image analysis. In this paper, we present a novel, generic, and accurate diffeomorphic image registration framework that utilizes neural ordinary differential equations (NODEs). We model each voxel as a moving particle and consider the set of all voxels in a 3D image as a high-dimensional dynamical system whose trajectory determines the targeted deformation field. Our method leverages deep neural networks for their expressive power in modeling dynamical systems, and simultaneously optimizes for a dynamical system between the image pairs and the corresponding transformation. Our formulation allows various constraints to be imposed along the transformation to maintain desired regularities. Our experiment results show that our method outperforms the benchmarks under various metrics. Additionally, we demonstrate the feasibility to expand our framework to register multiple image sets using a unified form of transformation,which could possibly serve a wider range of applications.

研究の動機と目的

• 従来のモデルベースおよびディープラーニングベースの手法に見られる制限を克服する、柔軟で汎用的かつ高精度な微分同相性画像登録フレームワークの開発。
• ニューラル常微分方程式（NODEs）を介して、深層ニューラルネットワークの表現力とフローベース登録の幾何学的整合性を統合すること。
• 最適化中に物理的およびトポロジカル制約（例：滑らかさ、境界条件）を簡単に組み込むこと。
• 最小限の負のヤコビアン行列式を伴いながらも、高い登録精度を維持する微分同相変換を達成すること。
• 複数枚の画像登録を可能とする統一された変換形式への拡張。

提案手法

• 各ボクセルを高次元力学系内の粒子としてモデル化し、深層ニューラルネットワークによってパrameter化された学習可能なODEの解から変形場を導出する。
• 微分可能ODEソルバを用いてエンドツーエンドで速度場を最適化し、時間方向のバックプロパゲーションと画像類似性および正則化の共同最適化を可能にする。
• ヤコビアン行列式と中間状態に対するペナルティを課すことにより正則化を実装し、トポロジーの保存と滑らかな変換を保証する。
• 境界条件をODEの定式化に直接組み込み、登録中に固定領域の制約を適用可能にする。
• 複数枚の画像にわたる統一されたフローへの拡張により、複数画像登録をサポートする。
• 計算コストを削減するためのダウンサンプリング戦略を適用し、性能を損なわずに効率的な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法およびディープラーニングベースの手法と比較して、ニューラルODEベースの定式化は、変形画像登録の精度と規則性を向上させることができるか？
• RQ2 NODEsは、微分同相性の性質を保ちながら、複雑な非線形変形をどれほど効果的にモデル化できるか？
• RQ3 最適化効率を損なわず、境界条件や滑らかさなど多様な制約をフレームワークに柔軟に組み込めるか？
• RQ4 OASIS（大規模な変形）およびCANDI（小さな構造）のような、変形の複雑さが異なるデータセットに、この手法はどの程度一般化可能か？
• RQ5 統一された変換モデルを用いて、複数画像登録にこのフレームワークを拡張できるか？

主な発見

• OASISデータセットでは、28個の脳構造について平均Diceスコアが0.802 ± 0.011を達成し、SYMNet（0.778 ± 0.091）およびSyN（0.739 ± 0.102）を顕著に上回った。
• CANDIデータセットでは、32個の構造について平均Diceスコアが0.760 ± 0.011を達成し、SYMNet（0.736 ± 0.015）およびSyN（0.713 ± 0.177）を上回った。
• NODEOはほぼゼロに近い負のヤコビアン行列式率を達成し、OASISおよびCANDIでr^D ≤ 7.5×10⁻⁸%を示し、強力な微分同相性の性質を裏付けた。
• 1枚の画像ペアあたりの実行時間は2080Ti GPUで約80秒であり、NiftyReg（70秒）およびLog-Demons（160秒）よりも高速で、精度面でも上回った。
• パラメータ数はボクセル数の3/4にとどまり、性能を損なわず高いパラメータ効率を示した。
• 定性的な結果では、特に脳室領域において、SYMNetと比較してフェイクアーチファクトのない明確な変形画像が得られた。