[논문 리뷰] DeepFLASH: An Efficient Network for Learning-based Medical Image Registration

Jian Wang, Miaomiao Zhang|arXiv (Cornell University)|2020. 04. 05.

Medical Image Segmentation Techniques참고 문헌 29인용 수 6

한 줄 요약

DeepFLASH는 저차원의 밴드제한 푸리에 공간에서 작동하는 새로운 학습 기반 의료 영상 정렬 네트워크를 제안한다. 이는 계산 비용과 메모리 사용을 크게 줄이며, 동시에 디퍼모르픽 변환 성질을 유지한다. 복소수 연산과 밴드제한 손실 함수를 활용하여 기존 최고 수준의 방법보다 추론 속도가 100배 빠르고 학습 속도가 40% 빠르며, 2D 합성 데이터와 3D 뇌 MRI 데이터에서 유사한 정렬 정확도를 달성한다.

ABSTRACT

This paper presents DeepFLASH, a novel network with efficient training and inference for learning-based medical image registration. In contrast to existing approaches that learn spatial transformations from training data in the high dimensional imaging space, we develop a new registration network entirely in a low dimensional bandlimited space. This dramatically reduces the computational cost and memory footprint of an expensive training and inference. To achieve this goal, we first introduce complex-valued operations and representations of neural architectures that provide key components for learning-based registration models. We then construct an explicit loss function of transformation fields fully characterized in a bandlimited space with much fewer parameterizations. Experimental results show that our method is significantly faster than the state-of-the-art deep learning based image registration methods, while producing equally accurate alignment. We demonstrate our algorithm in two different applications of image registration: 2D synthetic data and 3D real brain magnetic resonance (MR) images. Our code is available at https://github.com/jw4hv/deepflash.

연구 동기 및 목표

• 고차원 영상 공간에서 딥러닝 기반 의료 영상 정렬의 높은 계산 비용과 메모리 사용량 문제를 해결하기 위해.
• 종단간 학습 과정에서 매끄럽고, 가역적이며, 위상 구조를 유지하는 디퍼모르픽 성질을 보존하기 위해.
• 정렬 정확도를 희생시키지 않고 딥러닝 정렬 모델의 학습 및 추론 시간을 단축하기 위해.
• 푸리에 공간에서 디퍼모르픽 변환을 학습하는 새로운 프레임워크를 제안하여 효율적인 최적화 및 파rameterization을 가능하게 하기 위해.
• 의료 영상 정렬을 위한 밴드제한 표현에서 복소수 신경망 연산의 타당성과 우수성을 입증하기 위해.

제안 방법

• 변형 필드를 표현하기 위해 필요한 매개변수 수를 크게 줄이기 위해, 저차원의 밴드제한 푸리에 공간에서 디퍼모르픽 변환을 수식화한다.
• 푸리에 도메인에서 변환을 모델링하기 위해 복소수 신경망 연산, 예를 들어 복소수 컨볼루션과 복소수 ReLU를 도입한다.
• 푸리에 계수 상에서 명시적으로 정의된 밴드제한 손실 함수를 통해 매끄럽고 디퍼모르픽 일致성을 확보하며, 더 적은 매개변수로도 가능하다.
• 실수값 공간에서의 이중 네트워크 아키텍처를 사용하여 복소수 최적화를 모방함으로써, 표준 딥러닝 프레임워크에서의 실용적 구현을 가능하게 한다.
• CNN, FCN, RNN 등 다양한 신경망 아키텍처와의 호환성을 고려하여 일반화 능력을 향상시킨다.
• 이미지 유사도에 대한 지도 학습 손실과, 밴드제한 공간에서의 매끄러움을 강제하는 정규화 항을 사용하여 종단간 학습을 수행한다.

실험 결과

연구 질문

• RQ1 저차원의 밴드제한 푸리에 공간에서 작동함으로써 기계학습 기반 의료 영상 정렬의 속도를 크게 향상시키고 메모리 효율을 높일 수 있는가?
• RQ2 복소수 연산과 표현을 어떻게 효과적으로 딥 뉴럴 네트워크에 통합하여 디퍼모르픽 영상 정렬을 수행할 수 있는가?
• RQ3 밴드제한 손실 함수는 파arameterization 복잡도를 줄이면서도 변환의 디퍼모르픽 성질을 유지할 수 있는가?
• RQ4 제안된 방법은 기존의 기계학습 기반 및 최적화 기반 정렬 방법에 비해 속도, 정확도, 메모리 사용 측면에서 어느 정도 뛰어난가?
• RQ5 실수값 네트워크를 분리하여 푸리에 도메인에서 복소수 최적화를 모방함으로써 고정밀도 정렬을 달성할 수 있는가?

주요 결과

• DeepFLASH는 VM-LDDMM 및 ANTs(SyN)와 같은 최적화 기반 방법보다 약 100배 빠른 추론 속도를 기록하며, GPU에서 평균 0.273초의 정렬 시간을 기록한다.
• 학습 시간을 14.1 GPU 시간으로 줄여, 다음으로 빠른 기준인 Quicksilver(31.4 GPU 시간) 대비 50% 향상된 성능를 달성한다.
• 학습 및 추론 과정에서 다른 기계학습 기반 방법보다 훨씬 적은 GPU 메모리 사용량을 기록하며, 평균 메모리 사용량이 상당히 낮다.
• LPBA40 데이터셋의 8개 뇌 구조에서 평균 Dice 점수 0.780을 기록하여 최고 수준의 모델들과 유사한 정확도를 확보했으며, Voxelmorph와 Quicksilver를 약간 앞서는 성능이다.
• 자기행렬의 행렬식 지도에서 특이점이나 잡음이 없음을 확인하여, 변환이 매끄럽고 디퍼모르픽 상태를 유지하고 있음을 입증한다.
• 제거 실험 결과, 밴드제한 표현과 복소수 연산이 정확도를 유지하면서 계산 비용을 줄이는 데 필수적임을 확인했다.