[논문 리뷰] AIRNet: Self-Supervised Affine Registration for 3D Medical Images using Neural Networks

Evelyn Chee, Zhenhua Wu|arXiv (Cornell University)|2018. 10. 05.

Medical Image Segmentation Techniques참고 문헌 19인용 수 53

한 줄 요약

AIRNet은 두 이미지 사이의 3D 아핀 변환 매개변수를 자체 지도 학습 CNN으로 직접 회귀하여, 기존 방법보다 더 빠르고 종종 더 정확한 정합을 달성하며 모달리티와 환자 차이에도 일반화한다.

ABSTRACT

In this work, we propose a self-supervised learning method for affine image registration on 3D medical images. Unlike optimisation-based methods, our affine image registration network (AIRNet) is designed to directly estimate the transformation parameters between two input images without using any metric, which represents the quality of the registration, as the optimising function. But since it is costly to manually identify the transformation parameters between any two images, we leverage the abundance of cheap unlabelled data to generate a synthetic dataset for the training of the model. Additionally, the structure of AIRNet enables us to learn the discriminative features of the images which are useful for registration purpose. Our proposed method was evaluated on magnetic resonance images of the axial view of human brain and compared with the performance of a conventional image registration method. Experiments demonstrate that our approach achieves better overall performance on registration of images from different patients and modalities with 100x speed-up in execution time.

연구 동기 및 목표

• 사전 정의된 유사성 지표 없이 빠르고 엔드투엔드 아핀 정합을 달성하려는 목적.
• 학습을 위해 합성 아핀 변환을 생성하여 풍부한 비라벨 데이터를 활용한다.
• 정합을 위해 특화된 판별적 이미지 특징을 학습하여 모달리티 간 일반화를 달성한다.
• 두 이미지 간의 원샷(registration) 정합을 가능하게 하여 변환 매개변수를 직접 추정한다.
• 속도 및 정확도 향상을 입증하기 위해 기존 정합과 비교 평가한다.

제안 방법

• Two-branch encoder architecture with weight sharing processes I_ref and I_t, followed by concatenation and fully connected regression to output a 12-dimensional affine parameter vector.
• Encoder blocks combine DenseNet-inspired densely connected layers with a mixture of 2D (early) and 3D (later) convolutions to handle anisotropic 3D MR data.
• Training uses self-supervised synthesis: apply random affine T to a brain image to create I_t and use the known t (flattened top three rows of T) as label.
• Pixel values are normalized to [0,1] and images are resized to 20x320x320 for network input.
• Loss is the mean squared error between predicted transformation parameters and ground-truth t, optimized with Adam.
• Baseline comparison uses SimpleITK affine registration with Mattes mutual information as the similarity metric.

실험 결과

연구 질문

• RQ1 두 개의 3D MR 영상으로부터 12D 아핀 변환 매개변수를 직접 회귀하도록 CNN이 학습할 수 있는가?
• RQ2 자기지도 학습 합성 데이터가 서로 다른 환자와 모달리티 전반에 걸쳐 정확하고 빠른 정합을 가능하게 하는가?
• RQ3 모달리티와 환자에 걸쳐 정확도(Jac, d_H) 및 실행 시간 면에서 AIRNet은 기존의 아핀 정합과 어떻게 비교되는가?
• RQ4 학습된 특징이 보지 않은 모달리티 및 환자 간 정합 작업에 일반화되는가?

주요 결과

• AIRNet 변형은 환자 간 및 환자 간-모달리티 설정에서 측두엽 영역의 평균 Jaccard 지수를 기존 방법보다 더 높게 달성한다.
• AIRNet- S1,2,c는 E_p에서 Jac 0.613, d_H 1.431, E_p,m에서 Jac 0.615, d_H 1.459로 일관된 강한 성능을 보인 반면, SimpleITK는 각각 0.561/1.876 및 0.524/1.978에 도달했다.
• 모든 AIRNet 변형은 정합당 약 0.75–0.79초를 소요하여 기존 방법(SimpleITK 약 166–217초)에 비해 약 100배의 속도 향상을 제공한다.
• AIRNet은 10개 뇌 영역에 걸친 더 나은 정합 성능을 보이고 보지 못한 모달리티 및 환자 간 데이터에 대해 강건한 일반화를 보여준다.
• 인코더 시각화(PCA/t-SNE)는 학습된 표현이 모달리티보다는 기하학적 변환 정보를 강조함을 나타낸다.
• 동일 환자, 동일 모달리티 쌍으로 학습된 경우에도 교차 환자/모달리티 정합에서 여전히 효과적이다.