[논문 리뷰] Image-and-Spatial Transformer Networks for Structure-Guided Image Registration

Matthew C. H. Lee, Ozan Oktay외 3명|arXiv (Cornell University)|2019. 07. 22.

Medical Image Segmentation Techniques참고 문헌 10인용 수 9

한 줄 요약

이 논문은 구조적 관심 영역(SoI)인 세그멘테이션과 같은 정보를 활용하여 작업에 특화된 이미지 표현을 학습함으로써 개선된 이미지 레지지스트레이션을 위한 새로운 딥러닝 프레임워크인 이미지 및 공간 트랜스포머 네트워크(ISTNs)를 제안한다. 이러한 학습된 표현을 사용해 테스트 시점에 반복적인 정밀 조정을 가능하게 함으로써, 특히 훈련 데이터가 제한된 경우에도 상당히 높은 레지지스트레이션 정확도를 달성하며, 3D 뇌 MRI 데이터셋에서 지도학습 및 비지도학습 기반의 베이스라인을 모두 능가한다.

ABSTRACT

Image registration with deep neural networks has become an active field of research and exciting avenue for a long standing problem in medical imaging. The goal is to learn a complex function that maps the appearance of input image pairs to parameters of a spatial transformation in order to align corresponding anatomical structures. We argue and show that the current direct, non-iterative approaches are sub-optimal, in particular if we seek accurate alignment of Structures-of-Interest (SoI). Information about SoI is often available at training time, for example, in form of segmentations or landmarks. We introduce a novel, generic framework, Image-and-Spatial Transformer Networks (ISTNs), to leverage SoI information allowing us to learn new image representations that are optimised for the downstream registration task. Thanks to these representations we can employ a test-specific, iterative refinement over the transformation parameters which yields highly accurate registration even with very limited training data. Performance is demonstrated on pairwise 3D brain registration and illustrative synthetic data.

연구 동기 및 목표

• 비반복적이고 한 번의 추론만을 사용하는 현재의 딥러닝 기반 이미지 레지지스트레이션 방법들이 특히 구조적 관심 영역(SoI)을 정렬하는 데서 최적의 성능을 내지 못하는 문제를 해결하기 위해.
• 추론 중에 SoI 정보를 유지하거나 활용하지 않는 기존의 지도학습 및 비지도학습 접근법의 한계를 극복하기 위해.
• 레지지스트레이션을 위해 최적화된 표현을 학습할 수 있는 일반적이고 엔드 투 엔드로 트레이닝 가능한 프레임워크를 개발하여, 테스트 시점에서 반복적 정밀 조정을 가능하게 하기 위해.
• 훈련 시 SoI 정보를 활용함으로써 데이터 효율성을 향상시키고, 동시에 추론 시 동적 적응이 가능하도록 하여 레지지스트레이션 정확도를 향상시키기 위해.

제안 방법

• ISTNs는 이중 브랜치 아키텍처를 도입한다: 하나의 브랜치는 입력 이미지 쌍을 처리하고, 다른 브랜치는 SoI 정보(예: 세그멘테이션)를 처리하여 레지지스트레이션에 최적화된 표현을 학습한다.
• 프레임워크는 공간 트랜스포머 네트워크(STNs)를 사용해 변환 매개변수를 예측하지만, 이전의 방법들과 달리 SoI 인식 표현을 활용해 변환 학습을 유도한다.
• 두 가지 변종이 제안되며, 명시적(ISTN-e)과 암시적(ISTN-i)으로 나뉘며, 후자는 직접적인 지도 학습 없이 표현을 학습함으로써 노이즈가 많은 SoI에 대한 과적합을 줄인다.
• 초기 예측 이후, ISTNs는 학습된 표현을 사용해 테스트 시점에 맞는 반복적 정밀 조정을 적용하여 점진적인 정렬 향상을 가능하게 한다.
• 이 방법은 미분 가능한 공간 트랜스포머 모듈을 사용해 미분 가능한 이미지 왜곡을 수행함으로써, 변환 과정을 통해 역전파가 가능하게 한다.
• 손실 함수는 비유사도 측정(예: 평균 제곱 오차)과 SoI 기반 지도 학습을 결합하여 외관과 구조적 정렬을 동시에 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 훈련 시 구조적 관심 영역(SoI)을 통합하면, 특히 훈련 데이터가 제한된 경우 딥러닝 기반 이미지 레지지스트레이션의 정확도가 향상되는가?
• RQ2 SoI 유도 표현을 사용해 테스트 시점에 반복적 정밀 조정을 수행하면, 한 번의 추론만을 사용하는 딥러닝 기반 방법보다 더 높은 레지지스트레이션 성능을 달성하는가?
• RQ3 SoI 표현을 암시적으로 학습하면, SoI 애너테이션이 노이즈가 많거나 손상된 경우 과적합을 줄일 수 있는가?
• RQ4 3D 뇌 MRI 데이터에서 제안된 ISTN 프레임워크는 지도학습 및 비지도학습 기반 STN 베이스라인과 비교해 Dice 점수와 평균 표면 거리(ASD) 측면에서 어떻게 성능을 내는가?
• RQ5 ISTN 프레임워크는 이미지 레지지스트레이션에서 데이터 효율성을 얼마나 향상시키는가?

주요 결과

• ISTNs는 지도학습 기반(STN-s) 및 비지도학습 기반(STN-u) 베이스라인을 한 번의 추론 예측에서 모두 능가하며, 단지 100개의 훈련 쌍만으로도 애핀(affine)일 경우 Dice 점수 0.75, B-spline일 경우 0.80을 기록한다.
• 반복적 정밀 조정 이후, ISTNs는 애핀일 경우 Dice 점수 0.82, B-spline일 경우 0.85를 기록하여 각각 SoI를 직접 사용했을 때의 상한선인 0.84와 0.91에 가까워진다.
• 단지 100개의 훈련 쌍만으로도, STN-u/s가 1,000개의 훈련 쌍으로 학습한 성능을 뛰어넘어 더 높은 정확도를 달성하며, 뛰어난 데이터 효율성을 입증한다.
• 암시적 변종(ISTN-i)은 명시적 변종(ISTN-e)과 유사한 성능을 보이며, 노이즈가 많거나 손상된 SoI 애너테이션에 대해 강건함을 시사한다.
• 반복 정밀 조정 이후 평균 표면 거리(ASD)는 애핀일 경우 0.58, B-spline일 경우 0.46로 감소하여 기존의 베이스라인을 크게 능가한다.
• 정성적 결과에서는 ISTNs가 고유피질 구조를 의미 있는 방식으로 학습하며, 히트맵이 진짜 세그멘테이션과 밀도 있게 일치함을 보였다.