[논문 리뷰] Zero Shot Learning for Multi-Modal Real Time Image Registration

Avinash Kori, Ganapathi Krishnamurthi|arXiv (Cornell University)|2019. 08. 17.

Medical Image Segmentation Techniques참고 문헌 5인용 수 7

한 줄 요약

이 논문은 사전 훈련된 VGG-19 네트워크를 사용해 특징을 추출하고, 자동으로 검출된 관건점에서부터 다층 퍼셉트론(MLP) 회귀기를 통해 애핀 변환 매개변수를 추정하는, 사전 훈련된 VGG-19와 키포인트 기반 변환 추정을 통한 불확실성 정량화를 포함한 실시간 다중 모odal 의료 영상 정렬을 위한 제로샷, 비지도 학습 프레임워크를 제안한다. 이 방법은 높은 정확도와 불확실성 추정을 바탕으로 하여 작업 전용 훈련 데이터 없이 BraTS, ALBERT 및 임상 MRI 데이터셋에서 강건한 성능을 보이며, 초당 이하의 정렬 시간을 달성한다.

ABSTRACT

In this report we present an unsupervised image registration framework, using a pre-trained deep neural network as a feature extractor. We refer this to zero-shot learning, due to nonoverlap between training and testing dataset (none of the network modules in the processing pipeline were trained specifically for the task of medical image registration). Highlights of our technique are: (a) No requirement of a training dataset (b) Keypoints i.e.locations of important features are automatically estimated (c) The number of key points in this model is fixed and can possibly be tuned as a hyperparameter. (d) Uncertaintycalculation of the proposed, transformation estimates (e) Real-time registration of images. Our technique was evaluated on BraTS, ALBERT, and collaborative hospital Brain MRI data. Results suggest that the method proved to be robust for affine transformation models and the results are practically instantaneous, irrespective of the size of the input image

연구 동기 및 목표

• 작업 전용 훈련 데이터가 필요 없는 실시간, 비지도 영상 정렬 방법을 개발하는 것.
• 뇌수술와 같은 임상 환경에서 T1, T2, FLAIR 등의 다중 모달리즘 MRI 스캔 간 강건한 정렬을 가능하게 하는 것.
• 사전 훈련된 CNN에서 추출한 키포인트 특징만을 사용하여 스케일, 회전, 이동, 비틀림 변환 매개변수를 추정하는 것.
• 임상 의사결정 지원을 위해 높은 정렬 변동성이 있는 영역을 식별할 수 있는 불확실성 맵을 제공하는 것.
• 고정된 이미지 크기와 관계없이 중심점(CoM) 키포인트 표현을 통한 차원 축소를 통해 실시간 성능를 달성하는 것.

제안 방법

• 고정 및 이동 영상에 대해 사전 훈련된 VGG-19 네트워크를 특징 추출기로 사용하며, 첫 두 합성곱 레이어의 특징을 활용한다.
• 특징 맵에서 95% 최대 활성화 임계값을 적용하여 주목할 만한 영역를 분리하고 노이즈를 감소시키며 주요 특징에 집중한다.
• 공간 평균을 사용하여 임계값 처리된 특징 맵의 중심점(CoM)을 계산한다: $ CoM_x = \Sigma\Sigma f_{ij}x_{ij} / \Sigma\Sigma f_{ij} $.
• 고정 및 이동 영상의 CoM 좌표를 사전 훈련된 MLP 회귀기의 입력으로 사용하여 애핀 변환 매개변수를 추정한다.
• 픽셀 단위의 불확실성 맵을 생성하는 불확실성 추정기 기능을 통합하며, 빨간색은 높은 변동성을, 파란색은 낮은 변동성을 나타낸다.
• 최소한의 사전 처리를 적용: 평균 중심화, 정규화, 영역 채우기(0-padding)를 통해 큰 변형 동안 공간 정보를 유지한다.

실험 결과

연구 질문

• RQ1 의료 영상 데이터에 대한 미세조정 없이도 사전 훈련된 딥 네트워크가 영상 정렬에 효과적으로 사용될 수 있는가?
• RQ2 조기 CNN 특징의 중심점(CoM)을 기반으로 한 키포인트 기반 정렬이 전체 영상 정렬 대비 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 불확실성 추정은 조직 절제나 뇌 이동과 같은 경우에서 정확성 향상에 기여할 수 있는가?
• RQ4 재훈련 없이도 다양한 MRI 시퀀스와 모odal 간에 높은 성능를 유지하는가?
• RQ5 입력 이미지 크기와 관계없이 실시간 성능를 얼마나 잘 달성하는가?

주요 결과

• 다중 모달리즘 MRI 정렬(T2에서 T1/T2로)에서 딱도 점수는 0.44에서 0.91로 향상되어 정렬 후 거의 완벽한 겹침을 나타낸다.
• RMSE는 0.072 감소하여 SimpleElastix(+0.0361)와 SIFT 기반 방법(+0.041)을 모두 능가한다.
• 정렬 시간은 1장당 0.2초로, SimpleElastix(1.6초)와 SIFT 기반 방법(0.3초)보다 훨씬 빠르게 성능을 발휘한다.
• SSIM는 0.431 향상되어 기준 방법들을 모두 능가하며, 정렬 후 높은 구조 유사성을 나타낸다.
• 불확실성 맵은 중심 뇌 영역에서 높은 변동성을 보여주었으며, 임상적으로 예상되는 더 큰 변형 영역과 일치한다.
• 이 기법은 BraTS, ALBERT 및 병원에서 수집한 MRI 데이터셋 전반에서 강건성을 입증하여 다양한 데이터 소스 간 일반화 능력을 확인한다.