[논문 리뷰] NODEO: A Neural Ordinary Differential Equation Based Optimization Framework for Deformable Image Registration

Yifan Wu, Tom Z. Jiahao외 4명|arXiv (Cornell University)|2021. 08. 07.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 신경 미분방정식(NODE) 기반의 새로운 프레임워크인 NODEO를 제안한다. 이는 깊이 있는 신경망을 사용하여 연속적인 역학 시스템으로서 병렬체의 궤적을 모델링함으로써 변형 가능한 이미지 정렬을 수행한다. NODE를 통해 학습 가능한 속도장을 최적화함으로써, 최신 기준 수준의 정확도와 디퍼모르픽 정규화를 달성하며, OASIS 및 CANDI 데이터셋에서 더 높은 Dice 점수와 거의 0에 가까운 음수 자코비안 행렬식을 기록하여 벤치마크를 초월한다.

ABSTRACT

Deformable image registration (DIR), aiming to find spatial correspondence between images, is one of the most critical problems in the domain of medical image analysis. In this paper, we present a novel, generic, and accurate diffeomorphic image registration framework that utilizes neural ordinary differential equations (NODEs). We model each voxel as a moving particle and consider the set of all voxels in a 3D image as a high-dimensional dynamical system whose trajectory determines the targeted deformation field. Our method leverages deep neural networks for their expressive power in modeling dynamical systems, and simultaneously optimizes for a dynamical system between the image pairs and the corresponding transformation. Our formulation allows various constraints to be imposed along the transformation to maintain desired regularities. Our experiment results show that our method outperforms the benchmarks under various metrics. Additionally, we demonstrate the feasibility to expand our framework to register multiple image sets using a unified form of transformation,which could possibly serve a wider range of applications.

연구 동기 및 목표

• 기존의 모델 기반 및 딥러닝 기반 방법의 한계를 극복하고, 유연하고 일반화 가능하며 정확한 디퍼모르픽 영상 정렬 프레임워크를 개발한다.
• 신경 미분방정식(NODEs)을 통해 깊이 있는 신경망의 표현력과 플로우 기반 정렬의 기하학적 일관성을 통합한다.
• 최적화 과정에서 물리적 및 위상적 제약 조건(예: 부드러움, 경계 조건)을 쉽게 통합할 수 있도록 한다.
• 최고의 정확도를 확보하면서도 최소한의 음수 자코비안 행렬식을 유지하는 디퍼모르픽 변환을 달성한다.
• 통합된 변환 공식을 사용하여 다중 영상 정렬로 프레임워크를 확장한다.

제안 방법

• 각 병렬체를 고차원 역학 시스템 내의 입자로 모델링하며, 변형장은 깊이 있는 신경망에 의해 매개변수화된 학습된 ODE의 해로부터 유도된다.
• 차별 가능한 ODE 솔버를 사용하여 속도장을 종단 간 최적화함으로써 시간에 따른 역전파와 이미지 유사성 및 정규화의 공동 최적화를 가능하게 한다.
• 자코비안 행렬식과 중간 상태에 대한 페널티를 통해 정규화를 강제 적용함으로써 위상 보존과 부드러운 변환을 보장한다.
• 경계 조건은 ODE 공식에 직접 통합되어, 정렬 중에 고정 영역 제약 조건을 적용할 수 있다.
• 프레임워크는 다중 영상 정렬을 위해 여러 영상 간 통합 플로우로 변환을 확장함으로써 지원된다.
• 성능 손실 없이 계산 비용을 줄이기 위해 다운샘플링 전략을 적용하여 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 방법들과 비교하여 신경 ODE 기반 공식화가 변형 가능한 영상 정렬의 정확도와 규칙성을 향상시킬 수 있는가?
• RQ2 NODE는 비선형성이 높은 복잡한 변형을 효과적으로 모델링하면서도 디퍼모르픽 성질을 유지할 수 있는가?
• RQ3 최적화 효율성을 희생시키지 않고 다양한 제약 조건(예: 경계 조건, 부드러움)을 프레임워크에 탄력적으로 통합할 수 있는가?
• RQ4 OASIS(큰 변형)와 CANDI(작은 구조)와 같은 다양한 변형 복잡도를 가진 데이터셋 간에 이 방법이 얼마나 일반화되는가?
• RQ5 통합된 변환 모델을 사용하여 다중 영상 정렬로 프레임워크를 확장할 수 있는가?

주요 결과

• OASIS 데이터셋에서, NODEO는 28개 뇌 구조에 대해 평균 Dice 점수 0.802 ± 0.011을 기록하여 SYMNet(0.778 ± 0.091)과 SyN(0.739 ± 0.102)을 뛰어넘었다.
• CANDI 데이터셋에서, NODEO는 32개 구조에 대해 평균 Dice 점수 0.760 ± 0.011을 기록하여 SYMNet(0.736 ± 0.015)과 SyN(0.713 ± 0.177)을 초월했다.
• NODEO는 거의 0에 가까운 음수 자코비안 행렬식 비율을 기록했으며, OASIS 및 CANDI에서 r^D ≤ 7.5×10⁻⁸%를 달성하여 강력한 디퍼모르픽 성질을 확인했다.
• 2080Ti GPU에서 이미지 쌍당 약 80초의 런타임을 기록하여 NiftyReg(70초)와 Log-Demons(160초)보다 빠르면서도 정확도에서 뛰어난 성능을 보였다.
• 모델은 병렬체 수 대비 파라미터 수의 3/4만을 사용하여 성능 손실 없이 높은 파라미터 효율성을 확보했다.
• 정성적 결과에서는 SYMNet에 비해 더 선명한 왜곡된 영상과 특히 뇌실 영역에서의 가짜 아티팩트가 없는 결과를 보였다.