[논문 리뷰] AutoFuse: Automatic Fusion Networks for Deformable Medical Image Registration

Mingyuan Meng, Michael Fulham외 3명|arXiv (Cornell University)|2023. 09. 11.

Medical Image Segmentation Techniques인용 수 4

한 줄 요약

AutoFuse는 데 formable 의료 영상 정렬을 위한 데이터 기반, 자동 융합 네트워크를 제안하며, 학습 가능한 융합 게이트 모듈을 통해 최적의 융합 전략을 학습함으로써, 훈련 중에 네트워크의 여러 위치에서 특징을 동적으로 융합함으로써 8개의 공개 데이터셋에서 환자 간 및 환자 내 정렬 작업에서 최신의 비지도 및 준지도 방법들을 능가한다.

ABSTRACT

Deformable image registration aims to find a dense non-linear spatial correspondence between a pair of images, which is a crucial step for many medical tasks such as tumor growth monitoring and population analysis. Recently, Deep Neural Networks (DNNs) have been widely recognized for their ability to perform fast end-to-end registration. However, DNN-based registration needs to explore the spatial information of each image and fuse this information to characterize spatial correspondence. This raises an essential question: what is the optimal fusion strategy to characterize spatial correspondence? Existing fusion strategies (e.g., early fusion, late fusion) were empirically designed to fuse information by manually defined prior knowledge, which inevitably constrains the registration performance within the limits of empirical designs. In this study, we depart from existing empirically-designed fusion strategies and develop a data-driven fusion strategy for deformable image registration. To achieve this, we propose an Automatic Fusion network (AutoFuse) that provides flexibility to fuse information at many potential locations within the network. A Fusion Gate (FG) module is also proposed to control how to fuse information at each potential network location based on training data. Our AutoFuse can automatically optimize its fusion strategy during training and can be generalizable to both unsupervised registration (without any labels) and semi-supervised registration (with weak labels provided for partial training data). Extensive experiments on two well-benchmarked medical registration tasks (inter- and intra-patient registration) with eight public datasets show that our AutoFuse outperforms state-of-the-art unsupervised and semi-supervised registration methods.

연구 동기 및 목표

• 딥 러닝 기반의 변형 영상 정렬에서 수작업으로 설계된 융합 전략의 한계를 해결하기 위해.
• 특징 융합 위치와 가중치를 자동으로 최적화하는 유연하고 종단 간(end-to-end) 학습 가능한 융합 메커니즘을 개발하기 위해.
• 정답 레이블에 의존하지 않고도 비지도 및 준지도 정렬 설정 모두에 일반화할 수 있도록 하기 위해.
• 편의적 설계가 아닌 데이터 기반 융합을 통해 최적의 공간 대응을 학습함으로써 정렬 정확도를 향상시키기 위해.
• 다양한 임상 작업에 적용 가능한 확장 가능하고 적응 가능한 의료 영상 정렬 프레임워크를 제공하기 위해.

제안 방법

• 딥 신경망 아키텍처 내에서 여러 잠재적 위치에서 특징 융합을 가능하게 하는 자동 융합 네트워크(AutoFuse)를 제안한다.
• 각 융합 지점에서 서로 다른 모odal 입력의 특징을 어떻게 조합할지를 동적으로 제어하는 학습 가능한 융합 게이트(FG) 모듈을 도입한다.
• 백프로파게이션 동안 최적의 융합 전략을 학습할 수 있도록 가능한 아키텍처 탐색 기법을 사용한다.
• 정답 변형 필드가 필요 없는 손실 함수를 활용하여 비지도 및 준지도 훈련을 지원한다.
• 스킵 연결이 있는 U-Net 유사 인코더-디코더 백본을 사용하며, FG 모듈을 여러 수준에 삽입하여 다중 해상도 융합을 가능하게 한다.
• 공간 대응을 최적화하기 위해 정규화된 상관관계 또는 상호정보량과 같은 미분 가능한 유사도 손실을 사용하여 전체 네트워크를 종단 간으로 훈련한다.

실험 결과

연구 질문

• RQ1 변형 의료 영상 정렬에서 공간 대응을 학습하기 위한 최적의 융합 전략은 무엇인가?
• RQ2 데이터 기반 융합 메커니즘이 초기 또는 후기 융합과 같은 수작업 설계된 융합 전략보다 우수한 성능을 낼 수 있는가?
• RQ3 자동 융합 네트워크는 비지도 및 준지도 정렬 시나리오에 대해 얼마나 잘 일반화되는가?
• RQ4 학습 가능한 융합 게이트가 다양한 해부학적 구조와 영상 대trast에 효과적으로 적응할 수 있는가?
• RQ5 융합 위치와 가중치를 종단 간으로 학습함으로써 벤치마크 데이터셋에서 정렬 정확도가 향상되는가?

주요 결과

• AutoFuse는 환자 간 및 환자 내 정렬 작업 모두에서 8개의 공개 의료 영상 데이터셋에서 최신 기술(SOTA) 성능을 달성했다.
• 기존의 비지도 및 준지도 정렬 네트워크보다 목표 정렬 오차(TRE)와 장기 세그멘테이션의 Dice 점수 측면에서 뚜렷한 성능 향상을 보였다.
• 융합 게이트 모듈은 네트워크의 다양한 깊이에서 관련 특징을 우선시하여 공간 대응 학습을 향상시켰다.
• AutoFuse는 준지도 설정으로도 잘 일반화되어 훈련 데이터에서 부분적인 레이블이 있을 경우에도 높은 정확도를 달성했다.
• 제거 실험을 통해 자동 융합 메커니즘이 고정된 초기 또는 후기 융합 전략보다 더 효과적임을 확인했다.
• 모델은 CT, MR 및 PET 스캔을 포함한 다양한 영상 모odalities에 걸쳐 뛰어난 강건성을 보였다.