[논문 리뷰] General Purpose Image Encoder DINOv2 for Medical Image Registration

Xinrui Song, Xuanang Xu외 1명|arXiv (Cornell University)|2024. 02. 24.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

이 논문은 자연 이미지에서 미리 훈련된 자기지도 학습 시각 기초 모델인 DINOv2를 미세조정 없이 사용하여 풍부하고 의미 있는 특징을 추출하는 훈련 없이도 적용 가능한 탄성 영상 정렬 방법인 DINO-Reg를 소개한다. DINOv2로 인코딩된 특징과 볼록 최적화 프레임워크를 조합함으로써 다양한 의료 영상 모odalities와 데이터셋에서 강력하고 일반화 가능한 정렬 성능을 달성하여 OncoReg 챌린지에서 1등을 차지했다.

ABSTRACT

Existing medical image registration algorithms rely on either dataset specific training or local texture-based features to align images. The former cannot be reliably implemented without large modality-specific training datasets, while the latter lacks global semantics thus could be easily trapped at local minima. In this paper, we present a training-free deformable image registration method, DINO-Reg, leveraging a general purpose image encoder DINOv2 for image feature extraction. The DINOv2 encoder was trained using the ImageNet data containing natural images. We used the pretrained DINOv2 without any finetuning. Our method feeds the DINOv2 encoded features into a discrete optimizer to find the optimal deformable registration field. We conducted a series of experiments to understand the behavior and role of such a general purpose image encoder in the application of image registration. Combined with handcrafted features, our method won the first place in the recent OncoReg Challenge. To our knowledge, this is the first application of general vision foundation models in medical image registration.

연구 동기 및 목표

• 모달 특화 훈련이나 전통적인 수작업 특징에 의존하는 기존 의료 영상 정렬 방법의 한계를 해결하기 위해.
• 자연 이미지에서 미리 훈련된 일반 목적의 시각 기초 모델인 DINOv2를 미세조정 없이 의료 영상 정렬에 활용할 수 있는지의 타당성과 효율성을 탐색하기 위해.
• DINOv2의 전역적 의미 이해 능력과 이산 최적화 과정을 조합하여 훈련 없이도 강력한 변형 필드 추정이 가능한 정렬 프레임워크를 개발하기 위해.
• 다양한 실제 의료 영상 데이터셋에서 제안된 방법을 검증하고, 예측되지 않은 데이터에 대한 일반화 능력을 입증하기 위해.
• 대규모 모달 특화 데이터셋에 의존도를 줄이고, 자기지도 학습 시각 기초 모델을 활용한 의료 영상 정렬의 새로운 패러다임을 구축하기 위해.

제안 방법

• ImageNet에서 미리 훈련된 자기지도 학습 시각 기초 모델인 DINOv2를 3D 의료 영상 볼륨의 일반 목적 특징 인코더로 사용하며, 어떤 미세조정도 수행하지 않는다.
• 각 축방향, coronal, 또는 sagittal 단면을 개별적으로 인코딩하고, 누락된 단면에 대해 특징을 보간함으로써 2D DINOv2 특징을 3D 의료 영상에 적용한다.
• 분류 성능를 유지하면서 DINOv2 특징을 압축하기 위해 저랭크 PCA 압축을 적용하여 계산을 크게 가속화한다.
• 볼록 최적화 프레임워크(ConcexAdam) 내에서 유사도 측정 지표로 정규화된 상관관계(NCC)를 사용하여 최적의 변형 필드를 추정한다.
• 이산 최적화 과정을 적용하여 이동 영상와 기준 영상의 특징 간 NCC 기반 손실을 최소화함으로써 전역 최적해에 수렴함을 보장한다.
• DINOv2 특징과 수작업 특징(예: MIND)을 앙상블 설정에서 조합하여 정렬 정확도를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 자연 이미지에서 미리 훈련된 일반 목적의 시각 기초 모델인 DINOv2가 미세조정 없이도 의료 영상 정렬에 의미 있는 특징을 효과적으로 추출할 수 있는가?
• RQ2 DINOv2 기반 특징은 전통적인 수작업 특징(예: MIND)과 비교해 탄성 영상 정렬 작업에서 어떤 성능을 보이는가?
• RQ3 2D DINOv2 특징을 사용하여 3D 의료 영상 볼륨을 인코딩할 때 최적의 설정은 무엇인가? (예: 슬라이스 간격, 인코딩 시점, PCA 랭크)
• RQ4 DINOv2 특징과 수작업 특징을 조합하면 다양한 데이터셋에서 정렬 정확도와 강건성이 향상되는가?
• RQ5 DINOv2 기반 훈련 없이도 적용 가능한 정렬 프레임워크가 실제 의료 영상 과제에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DINO-Reg는 OncoReg 챌린지에서 최고 성능을 기록하여 ThoraxCBCT 데이터셋에서 목표 정렬 오차(TRE) 3.86±0.93 mm로 1등을 차지했다.
• 볼곱 최적화에서 NCC를 손실 함수로 사용할 경우 SSD보다 유의미하게 더 좋은 결과를 보였으며, TRE에서 0.32 mm 향상되고 더 나은 Dice 스코어를 기록했다.
• 매 3번째 슬라이스를 인코딩하는 것(gap=3)이 안정적인 성능을 제공했고, 간격을 5개로 늘리면 성능이 떨어져 효율성과 정확성 사이의 최적 균형을 보여주었다.
• 저랭크 PCA를 통해 계산 시간을 최대 50배까지 단축시켰고 성능 저하가 거의 없었으며, 케이스당 실행 시간을 300초 이상에서 약 60초로 단축시켰다.
• Axial 시점 인코딩이 첫 3개 성분에서 43.6%의 분산을 기록하며 가장 높은 성능을 보였고, 이는 가장 높은 Dice 스코어(0.733±0.14)를 기록했으며, coronal 및 sagittal 시점보다 뛰어났다.
• DINO-Reg를 ConvexAdam 또는 MIND 특징과 앙상블으로 조합함으로써 성능을 추가로 향상시켰으며, DINO-Reg+ConvexAdam 조합이 가장 낮은 TRE 3.72±0.68 mm를 기록했다.