[논문 리뷰] TransMorph: Transformer for unsupervised medical image registration

Junyu Chen, Eric C. Frey외 4명|arXiv (Cornell University)|2021. 11. 19.

Medical Image Segmentation Techniques참고 문헌 61인용 수 12

한 줄 요약

TransMorph는 자기주의 주의 메커니즘을 활용하여 장거리 공간적 상관관계를 모델링하고 정규화 정확도를 향상시키기 위해 하이브리드 트랜스포머-컨볼루션 네트워크 아키텍처를 제안한다. 이 방법은 뇌 MRI 및 CT 정규화 작업 전반에서 최신 기술 수준의 성능을 달성하며, 디퍼모르픽 및 베이지안 변형을 통해 위상 구조 보존과 불확실성 추정을 보장한다.

ABSTRACT

In the last decade, convolutional neural networks (ConvNets) have been a major focus of research in medical image analysis. However, the performances of ConvNets may be limited by a lack of explicit consideration of the long-range spatial relationships in an image. Recently Vision Transformer architectures have been proposed to address the shortcomings of ConvNets and have produced state-of-the-art performances in many medical imaging applications. Transformers may be a strong candidate for image registration because their substantially larger receptive field enables a more precise comprehension of the spatial correspondence between moving and fixed images. Here, we present TransMorph, a hybrid Transformer-ConvNet model for volumetric medical image registration. This paper also presents diffeomorphic and Bayesian variants of TransMorph: the diffeomorphic variants ensure the topology-preserving deformations, and the Bayesian variant produces a well-calibrated registration uncertainty estimate. We extensively validated the proposed models using 3D medical images from three applications: inter-patient and atlas-to-patient brain MRI registration and phantom-to-CT registration. The proposed models are evaluated in comparison to a variety of existing registration methods and Transformer architectures. Qualitative and quantitative results demonstrate that the proposed Transformer-based model leads to a substantial performance improvement over the baseline methods, confirming the effectiveness of Transformers for medical image registration.

연구 동기 및 목표

• 컨볼루션 신경망(ConvNets)이 국소적 수용장에 의해 의료 영상에서 장거리 공간적 관계를 모델링하는 데 한계를 가짐을 해결한다.
• 비전 트랜스포머의 글로벌 모델링 능력을 활용하여 변형 가능한 영상 정규화에서 공간 대응 학습을 향상시킨다.
• 글로벌 맥락 이해와 국소적 특징 학습을 균형 잡기 위해 트랜스포머와 컨볼루션 네트워크를 조합한 하이브리드 아키텍처를 개발한다.
• 위상 보존 변형과 캘리브레이션된 불확실성 추정을 보장하기 위해 디퍼모르픽 및 베이지안 변형을 도입한다.
• 다양한 3차원 의료 영상 작업, 특히 환자 간 뇌 MRI, 애틀라스에서 환자로의 MRI, 프라임에서 CT 정규화에 대해 모델을 검증한다.

제안 방법

• 다중 헤드 자기주의를 사용하여 부피 영상 전역에서 장거리 의존성을 포착하는 하이브리드 트랜스포머-컨볼루션 네트워크 아키텍처인 TransMorph를 제안한다.
• 트랜스포머 블록을 블로킹 부분에 배치하고 스킵 연결을 사용하여 공간 세부 사항을 유지하는 U-Net 유사 인코더-디코더 구조를 활용한다.
• 이미지 재구성 손실과 음성 기초 하한 경계(ELBO) 기반 정규화 항을 사용하여 비지도 학습을 공식화한다.
• 삼차 스퍼인 변환을 사용하여 디퍼모르픽 변형을 도입하여 매끄럽고 가역적이며 위상 보존되는 변형을 보장한다.
• 변형장에 대해 변분 사후분포로 모델링하고 학습 가능한 평균과 분산을 갖는 베이지안 변형을 구현하여 불확실성 추정을 수행한다.
• 학습 중에 변형장을 위한 스토케스틱 샘플링을 재정의하여 불확실성 인식 손실의 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머가 컨볼루션 네트워크보다 장거리 공간적 의존성을 더 효과적으로 모델링함으로써 딥 러닝 기반 의료 영상 정규화 성능을 향상시킬 수 있는가?
• RQ2 하이브리드 트랜스포머-컨볼루션 네트워크 아키텍처가 비지도 3차원 의료 영상 정규화에서 표준 U-Net 기반 모델보다 우월한가?
• RQ3 디퍼모르픽 제약 조건이 트랜스포머 기반 정규화 프레임워크에 효과적으로 통합되어 매끄럽고 가역적인 변형을 보장할 수 있는가?
• RQ4 베이지안 추론이 트랜스포머 기반 정규화에 성공적으로 적용되어 캘리브레이션된 불확실성 추정을 제공할 수 있는가?
• RQ5 TransMorph는 뇌 MRI 및 CT 정규화를 포함한 다양한 3차원 의료 영상 응용 분야에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• TransMorph는 환자 간 및 애틀라스에서 환자로의 뇌 MRI 정규화를 포함한 모든 평가된 작업에서 최신 기술 수준의 정규화 정확도를 달성한다.
• TransMorph의 베이지안 변형은 잘 校정된 불확실성 추정을 생성하며, 불확실성 맵이 해부학적 구조와 고변형 영역과 밀접하게 일치한다.
• 디퍼모르픽 변형은 변형장에서 접힘이나 비가역적 변형이 없음을 확인함으로써 위상 보존 변형을 보장한다.
• 정량적 평가에서 TransMorph는 정규화 상호정보량(NMI) 및 딱시 유사도와 같은 지표에서 기준 모델, U-Net 기반 모델 및 다른 트랜스포머 기반 아키텍처를 모두 능가한다.
• 저대비 및 고변형 상황에서도 다양한 영상 대비와 해부학적 구조에 대해 강력한 일반화 성능을 보여준다.
• 보조 세그멘테이션 레이블의 통합은 복잡한 조직 경계가 있는 영역에서 특히 정규화 성능 향상에 기여한다.