[논문 리뷰] Learning image registration without images

Malte Hoffmann, Benjamin Billot외 3명|arXiv (Cornell University)|2020. 04. 21.

Medical Image Segmentation Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 실제 이미지 데이터 없이 생성 모델을 사용해 다양한 레이블 맵과 이미지를 합성함으로써 실질적인 이미지 데이터 없이도 딥 네트워크를 훈련시키는 대trast-불변 이미지 정렬 방법을 제안한다. 이 방법은 하나의 모델로 모든 대비(내부 및 다중 모odal 간)에서 이미지를 정렬할 수 있게 하여 재학습 없이도 최신 기술 수준의 정확도를 달성하며, 비해부학적 형태로도 훈련된 경우에도 성능이 우수하다.

ABSTRACT

We introduce a learning strategy for contrast-invariant image registration without requiring imaging data. While classical registration methods accurately estimate the spatial correspondence between images, they solve a costly optimization problem for every image pair. Learning-based techniques are fast at test time, but can only register images with image contrast and geometric content that are similar to those available during training. We focus on removing this image-data dependency of learning methods. Our approach leverages a generative model for diverse label maps and images that exposes networks to a wide range of variability during training, forcing them to learn features invariant to image type (contrast). This strategy results in powerful networks trained to generalize to a broad array of real input images. We present extensive experiments, with a focus on 3D neuroimaging, showing that this strategy enables robust registration of arbitrary image contrasts without the need to retrain for new modalities. We demonstrate registration accuracy that most often surpasses the state of the art both within and across modalities, using a single model. Critically, we show that input labels from which we synthesize images need not be of actual anatomy: training on randomly generated geometric shapes also results in competitive registration performance, albeit slightly less accurate, while alleviating the dependency on real data of any kind. Our code is available at: this http URL

연구 동기 및 목표

• 학습 기반 이미지 정렬이 훈련 중 실제 이미지 데이터에 의존하는 것을 제거하기 위해.
• 재학습 없이도 다양한 대비에서 이미지를 정렬할 수 있는 단일 딥 러닝 모델을 가능하게 하기 위해.
• 비해부학적 기하 형태로 훈련하는 것이 여전히 경쟁 가능한 정렬 성능을 낼 수 있는지 조사하기 위해.
• 정확도를 유지하면서 모odal 간 일반화를 가능하게 하는 방법을 개발하기 위해.
• 반복 최적화를 빠른 추론으로 대체함으로써 정렬의 계산 비용을 줄이기 위해.

제안 방법

• 생성 모델이 다양한 레이블 맵과 해당되는 이미지를 합성하여 네트워크가 대비와 기하학적 변형의 극단적 다양성에 노출되도록 한다.
• 실제 이미지가 아닌 합성 데이터만을 사용하여 네트워크가 이미지 쌍 간의 공간 변환을 예측하도록 훈련시킨다.
• 훈련 중에 실제적인 이미지 및 레이블 맵 분포를 보장하기 위해 사이클-일致성 생성 모델을 활용한다.
• 넓은 분포의 합성 데이터에 노출되어 네트워크가 이미지 대비에 대해 불변인 특징을 학습하도록 한다.
• 실제 해부학적 사전 지식에서 모델을 분리하기 위해 훈련을 합성 데이터(비해부학적 형태 포함) 전용으로 수행한다.
• 테스트 시 추론은 빠르고 일반화 가능하여 새로운 이미지 대비에 대해 제로샷 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 훈련 중 실제 이미지 한 장도 보지 않고도 모든 대비에서 이미지를 정렬할 수 있는가?
• RQ2 비해부학적 기하 형태로 훈련하는 것이 여전히 경쟁 가능한 정렬 성능을 낼 수 있는가?
• RQ3 재학습 없이도 하나의 모델이 내부 모달 및 다중 모달 정렬에 일반화할 수 있는가?
• RQ4 합성 데이터로 훈련된 모델의 성능은 실제 3D 신경영상 데이터에서 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ5 실제 이미지 데이터에 의존하지 않고 대비 불변성을 어느 정도 달성할 수 있는가?

주요 결과

• 제안된 방법은 3D 신경영상에서 내부 모달 및 다중 모달 이미지 쌍 모두에서 최신 기술 수준의 정확도를 달성한다.
• 재학습 없이도 임의의 이미지 대비에 일반화되며, 새로운 모달에 대한 강건성을 입증한다.
• 무작위로 생성된 기하 형태로 훈련해도 경쟁 가능한 성능를 낼 수 있으나, 해부학적 데이터로 훈련한 경우에 비해 略로 약간 낮은 정확도를 보인다.
• 정확도를 유지하거나 초월하면서도 전통적인 최적화 기반 정렬보다 빠른 속도를 보인다.
• 다양한 합성 데이터에 노출되어 네트워크가 대비 불변 특징을 학습함으로써 제로샷 일반화가 가능하다.
• 모달 전용 재학습이 필요 없어져 정렬 파이프라인의 데이터 및 계산 부담을 크게 줄였다.