[논문 리뷰] A Deep Metric for Multimodal Registration

Martin Simonovsky, Benjamín Gutiérrez-Becker외 3명|arXiv (Cornell University)|2016. 09. 17.

Medical Image Segmentation Techniques참고 문헌 13인용 수 25

한 줄 요약

이 논문은 다중모odal 3D 의료 영상 정렬을 위한 컨volution 신경망(CNN) 기반의 딥 메트릭을 제안한다. 네트워크는 정렬된 영상 패치와 정렬되지 않은 영상 패치를 분류하도록 훈련된다. 이 방법은 다른 데이터셋에서 인트라개체 T1-T2 비선형 정렬에서 상호정보량보다 유의미한 성능 향상을 보이며, 훈련 쌍이 적은 경우에도 잘 일반화되며 기울기 기반 업데이트를 통한 효율적인 연속 최적화를 가능하게 한다.

ABSTRACT

Multimodal registration is a challenging problem in medical imaging due the high variability of tissue appearance under different imaging modalities. The crucial component here is the choice of the right similarity measure. We make a step towards a general learning-based solution that can be adapted to specific situations and present a metric based on a convolutional neural network. Our network can be trained from scratch even from a few aligned image pairs. The metric is validated on intersubject deformable registration on a dataset different from the one used for training, demonstrating good generalization. In this task, we outperform mutual information by a significant margin.

연구 동기 및 목표

• 영상 모ality 간 조직의 외관이 극적으로 다름으로 인해 발생하는 다중모달 의료 영상 정렬 문제를 해결하기 위해.
• 손으로 만든 측정법에 의존하지 않고 다양한 모달리티 조합에 적응할 수 있는 일반적이고 학습 가능한 유사도 메트릭을 개발하기 위해.
• 의료 영상에서 흔한 소수의 정렬된 영상 쌍만을 사용하여 효과적인 정렬을 가능하게 하기 위해.
• 훈련 데이터와 다른 데이터셋에서 메트릭을 검증하여 강력한 일반화 능력을 입증하기 위해.
• 비선형 정렬을 위한 연속 최적화 프레임워크에 학습된 메트릭을 통합하기 위해.

제안 방법

• 이 방법은 정렬된 영상 패치와 정렬되지 않은 영상 패치를 구분하는 이진 분류 작업으로 정렬 문제를 모델링한다.
• 3D 컨volution 신경망(CNN)이 고정된 이미지와 왜곡된 움직이는 이미지의 대응 패치에 대해 이질성 점수를 출력하도록 훈련된다.
• 작은 수의 정렬된 영상 볼륨에서 온라인 샘플링과 데이터 증강을 사용하여, 양성(정렬됨) 및 음성(정렬되지 않음) 패치 쌍을 생성함으로써 네트워크를 처음부터 훈련시킨다.
• CNN에서 생성된 이질성 맵이 연속 최적화 프레임워크에서 유사도 메트릭으로 사용되며, 역전파를 통해 기울기가 계산되어 변환 매개변수를 업데이트한다.
• 메트릭은 기울기 하강법을 사용한 연속 최적화 방법에 통합되며, 움직이는 이미지에 대한 메트릭의 도함수를 사용해 변환 업데이트를 이끌어낸다.
• B-spline 변환을 사용한 비선형 정렬 설정에서 평가되었으며, 이는 연속 및 이산 최적화 프레임워크 양쪽 모두와 호환됨을 보여준다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 유사도 메트릭은 다양한 영상 프로토콜과 환자 집단 간의 다중모달 정렬에서 일반화 가능한가?
• RQ2 전통적인 메트릭인 상호정보량과 비교할 때, CNN 기반 메트릭은 인트라개체 3D 정렬에서 얼마나 잘 작동하는가?
• RQ3 소수의 정렬된 영상 쌍에서 얼마나 효과적으로 메트릭을 훈련시킬 수 있는가?
• RQ4 학습된 메트릭이 비선형 정렬의 연속 최적화에 적합한 매끄럽고 신뢰할 수 있는 기울기를 생성하는가?
• RQ5 훈련에 사용된 데이터셋과 다른 데이터셋에 성공적으로 적용할 수 있는가? 이는 훈련 도메인을 초월한 일반화 능력을 보여준다.

주요 결과

• 제안된 CNN 기반 메트릭은 인트라개체 T1-T2 비선형 정렬에서 상호정보량을 유의미하게 능가하며, Dice 및 Jaccard 점수에서 유의미한 향상(약 4점)을 보였다(p < 0.01).
• 훈련 데이터(IXI)와 다른 데이터셋(ALBERTs)에 대해 잘 일반화되어, 스캐너 및 인구 통계적 차이에 대해 강건함을 입증했다.
• 훈련에 3개의 정렬된 영상 쌍만 사용했을 때도 상호정보량에 마스크 적용한 경우와 유사한 성능을 보였으며, 6개 또는 11개의 쌍을 사용하면 항상 MI 및 MI+M을 능가했다.
• 메트릭은 매끄럽고 잘 조율된 기울기를 생성하였으며, 기울기의 부호와 국소 최솟값이 정확하여 연속 최적화에서 안정적인 수렴을 가능하게 했다.
• CNN 메트릭을 사용한 정렬은 상호정보량의 약 두 배정도 빠르며, 주요 오버헤드는 메트릭 계산이 아니라 이미지 리샘플링에 기인한다.
• 이 방법은 이산 최적화 프레임워크(예: MRF 기반 설정)와도 호환되며, 단일 순방향 전파만으로도 유니터리 퍼텐셜 계산에 사용될 수 있다.