[논문 리뷰] Deep Learning in Medical Image Registration: Magic or Mirage?

Rohit Jena, Deeksha Sethi외 2명|arXiv (Cornell University)|2024. 08. 11.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

이 논문은 딥 러닝(DLIR) 방법이 의료 영상에서 전통적인 최적화 기반 정렬 기법보다 진정으로 뛰어나다고 할 수 있는지 조사한다. 전통적 방법은 각 픽셀 강도-라벨 상호정보량 간의 강한 상관관계로 인해 데이터셋 간 일반화 성능이 뛰어나며, DLIR 방법은 훈련 데이터에서 높은 정밀도를 보이지만 도메인 이동 상황에서는 일반화에 실패한다. 따라서 대규모 레이블이 있는 데이터셋을 재학습에 사용할 수 없는 한 전통적 방법이 더 신뢰할 수 있다.

ABSTRACT

Classical optimization and learning-based methods are the two reigning paradigms in deformable image registration. While optimization-based methods boast generalizability across modalities and robust performance, learning-based methods promise peak performance, incorporating weak supervision and amortized optimization. However, the exact conditions for either paradigm to perform well over the other are shrouded and not explicitly outlined in the existing literature. In this paper, we make an explicit correspondence between the mutual information of the distribution of per-pixel intensity and labels, and the performance of classical registration methods. This strong correlation hints to the fact that architectural designs in learning-based methods is unlikely to affect this correlation, and therefore, the performance of learning-based methods. This hypothesis is thoroughly validated with state-of-the-art classical and learning-based methods. However, learning-based methods with weak supervision can perform high-fidelity intensity and label registration, which is not possible with classical methods. Next, we show that this high-fidelity feature learning does not translate to invariance to domain shift, and learning-based methods are sensitive to such changes in the data distribution. Finally, we propose a general recipe to choose the best paradigm for a given registration problem, based on these observations.

연구 동기 및 목표

• 비틀림 의료 영상 정렬에서 딥 러닝 기반 방법과 전통적인 최적화 기반 방법 중 어느 것이 더 우월한지에 대한 끊임없는 논쟁을 해결하기 위해.
• 각 파라디그마가 일반화 및 도메인 이동에 대한 강건성 측면에서 어떤 조건에서 뛰어나게 되는지 규명하기 위해.
• 딥 러닝 기반 방법에서의 레이블 매칭이 다양한 뇌 영상 데이터셋 간 성능 전이에 기여하는지 조사하기 위해.
• 데이터 가용성 및 분포 특성에 기반하여 최적의 정렬 파라디그마를 선택하는 원칙적인 프레임워크를 수립하기 위해.

제안 방법

• 저자는 전통적 정렬 기법의 성능와 각 픽셀 강도 및 레이블 맵 간의 상호정보량 사이에 강한 상관관계가 있음을 규명하고, 이를 방법 적합성에 대한 핵심 진단 도구로 활용한다.
• 저자는 OASIS에서 훈련하고 CUMC12, LPBA40, MGH10, IBSR18 데이터셋에서 테스트하는 방식으로, 다양한 레이블링 프로토콜과 촬영 파rameter를 가진 네 개의 T1-가중 뇌 영상 데이터셋에서 최신의 전통적 및 딥 러닝 기반 정렬 기법(예: ANTs, FireANTs, SynthMorph, TransMorph)을 평가한다.
• 성능는 레이블된 해부학적 영역에 대한 평균 Dice 점수로 측정되며, 도메인 이동에 대한 강건성 평가를 위해 OASIS에서 훈련된 모델을 다른 데이터셋에서 테스트한다.
• 연구는 감독 학습 및 비감독 학습 기반 DLIR 변종을 비교하며, 특히 훈련 중 레이블 매칭 손실의 영향을 일반화 성능에 미치는 영향을 평가한다.
• 딥 러닝 기반 정렬 기법의 아키텍처 설계와 손실 함수의 영향을 분리하기 위해 체계적인 아블레이션 실험을 수행하였으며, 성능는 주로 상호정보량에 의해 제약을 받는 것으로 나타났다.
• 데이터 분포, 레이블 가용성, 필요로 하는 강건성에 기반하여 전통적 방법과 딥 러닝 방법 간의 선택 가이드라인을 제안한다.

실험 결과

연구 질문

• RQ1 각 픽셀 강도-레이블 상호정보량과 전통적 정렬 기법의 성능 간의 관계는 무엇인가?
• RQ2 훈련 중 레이블 맵을 통합함으로써 딥 러닝 기반 정렬 기법의 다양한 데이터셋 간 일반화 성능이 향상되는가?
• RQ3 여러 뇌 영상 데이터셋에서 도메인 이동 상황에서 전통적 방법과 딥 러닝 기반 방법의 성능 및 강건성은 어떻게 비교되는가?
• RQ4 딥 러닝 기반 정렬 기법이 의료 영상 정렬에서 전통적 최적화 기반 방법을 능가하는 조건은 무엇인가?

주요 결과

• OASIS 데이터셋에서 훈련된 딥 러닝 기반 정렬 기법은 4개의 독립적인 T1-뇌 영상 데이터셋에서 전통적 정렬 기법(예: ANTs, FireANTs)보다 항상 뛰어난 성능를 보이지 않으며, 특히 레이블 매칭을 통한 훈련을 하더라도 마찬가지이다.
• 전통적 기법의 성능는 각 픽셀 강도와 레이블 맵 간의 상호정보량과 강하게 상관관계가 있음을 확인하였으며, 이는 성능 성공 여부를 예측하는 핵심 지표임을 시사한다.
• OASIS 데이터셋에서 높은 성능를 보였음에도 불구하고, SynthMorph 및 TransMorph와 같은 DLIR 기법은 다른 데이터셋으로 일반화하지 못하며, 레이블 매칭 손실로 인한 성능 향상도 유의미하지 않다.
• 한 데이터셋에서 훈련된 DLIR 기법은 다른 데이터셋에서조차도 레이블 맵을 제공받더라도 성능 향상이 이루어지지 않아 도메인 전이 능력이 떨어진다.
• 전통적 기법은 모ality, 해상도, 전처리 프로토콜에 관계없이 재학습 없이 다양한 데이터셋에서 최고 성능를 유지한다.
• 연구는 전통적 방법이 일반 사용에 더 신뢰할 수 있으며, DLIR는 대규모 도메인 특화 레이블 데이터셋을 재학습에 사용할 수 있을 때만 사용되어야 한다고 결론내린다.