[논문 리뷰] Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data

Hongming Li, Yong Fan|arXiv (Cornell University)|2018. 01. 11.

Medical Image Segmentation Techniques참고 문헌 9인용 수 24

한 줄 요약

이 논문은 레이블이 없는 훈련 데이터가 필요로 하지 않고 이미지 유사도로부터 직접 공간 변형을 학습하는 자기지도 학습 전임의 컨volution 네트워크(FCN)를 제안한다. 다중 해상도 프레임워크에서 이미지 유사도 손실를 엔드 투 엔드 백프로파게이션을 통해 최적화함으로써, 3D 뇌 MRI 영상 정렬에서 최신 기술 수준의 성능을 달성하며, 기존의 딥러닝 및 전통적 방법들을 능가한다.

ABSTRACT

A novel non-rigid image registration algorithm is built upon fully convolutional networks (FCNs) to optimize and learn spatial transformations between pairs of images to be registered in a self-supervised learning framework. Different from most existing deep learning based image registration methods that learn spatial transformations from training data with known corresponding spatial transformations, our method directly estimates spatial transformations between pairs of images by maximizing an image-wise similarity metric between fixed and deformed moving images, similar to conventional image registration algorithms. The image registration is implemented in a multi-resolution image registration framework to jointly optimize and learn spatial transformations and FCNs at different spatial resolutions with deep self-supervision through typical feedforward and backpropagation computation. The proposed method has been evaluated for registering 3D structural brain magnetic resonance (MR) images and obtained better performance than state-of-the-art image registration algorithms.

연구 동기 및 목표

• 비정적 이미지 정렬을 위한 대규모 훈련 데이터와 알려진 변형에 의존하지 않도록 하는 것.
• 이미지 콘텐츠로부터 직접 공간 변형 필드를 학습하는 완전 컨volution 네트워크를 개발하는 것.
• 이미지 유사도만을 감독 신호로 사용하여 변형 필드와 네트워크 가중치를 동시에 최적화할 수 있도록 하는 것.
• 특히 3D 뇌 MRI 응용 분야에서 정렬 정확도와 강인성을 향상시키는 것.
• 이미지 유사도를 통한 자기지도 학습이 복잡한 정렬 작업에서 감독 학습 전훈련을 대체할 수 있음을 보여주는 것.

제안 방법

• 이 방법은 비정적 이미지 정렬을 위한 조밀한 이동 필드를 예측하기 위해 완전 컨볼루션 네트워크(FCN)를 사용한다.
• 고정된 이미지와 변형된 이동 이미지 간의 유사도 지표(예: 정규화된 상호정보량 또는 제곱차의 합)를 최대화하는 방식으로 정렬 문제를 최적화 문제로 설정한다.
• 지식 기반 변형 필드가 필요로 하지 않는 채널에서, 백프로파게이션을 통해 엔드 투 엔드로 훈련된다.
• 훈련의 안정성과 수렴성을 향상시키기 위해 다중 해상도 프레임워크를 사용하며, 여러 해상도에서 최적화를 수행한다.
• 쌍체의 애너테이션이나 합성 변형 데이터가 필요로 하지 않는 이미지 수준의 유사도를 통해 완전히 자기지도 학습을 달성한다.
• 전방향 추론과 네트워크 전체를 거쳐 역전파가 가능한 프레임워크를 지원하여, 네트워크 가중치와 변형 필드를 동시에 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 레이블이 없는 훈련 데이터나 지식 기반 변형 필드가 없이도 비정적 이미지 정렬을 효과적으로 학습할 수 있는가?
• RQ2 이미지 유사도를 통한 자기지도 학습은 정확도와 일반화 능력 측면에서 감독 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 완전 컨볼루션 네트워크가 이미지 수준의 감독만으로 변형 필드와 네트워크 파rameter를 동시에 최적화할 수 있는가?
• RQ4 다중 해상도 최적화는 자기지도 정렬의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 도전적인 3D 의료 영상 정렬 작업에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 방법은 3D 구조적 뇌 MRI 데이터셋에서 최신 기술 수준의 딥러닝 및 전통적 비정적 정렬 알고리즘보다 뛰어난 정렬 정확도를 달성한다.
• 훈련 데이터 의존성의 부재로 인해 재훈련 없이 다양한 영상 프로토콜과 스캔 특성 간에 일반화가 가능하다.
• 지식 기반 레이블이 필요로 하지 않는 이미지 수준의 유사도를 유일한 감독 신호로 사용하는 자기지도 프레임워크는 지식 기반 레이블 없이도 고품질의 변형 필드를 생성한다.
• 다중 해상도 훈련 전략은 최적화 중 수렴성과 안정성을 크게 향상시킨다.
• 임상적 MRI 스캔에서 흔히 발생하는 강도 변화와 영상 대비 차이에 대해 뛰어난 강인성을 보여준다.
• 엔드 투 엔드로 FCN를 최적화하는 데 있어 이미지 유사도 손실만으로도 정확하고 해부학적으로 타당한 공간 변형을 학습하는 데 충분하다는 것이 결과적으로 확인되었다.