[논문 리뷰] Recurrent Registration Neural Networks for Deformable Image Registration

Robin Sandkühler, Simon Andermatt외 4명|arXiv (Cornell University)|2019. 06. 07.

Medical Image Segmentation Techniques참고 문헌 27인용 수 9

한 줄 요약

이 논문은 변형 가능한 의료 영상 정렬을 위한 새로운 순차 기반 딥러닝 방법인 순환 정렬 신경망(R2N2)을 제안한다. 이 방법은 정확하고 컴act하며 빠른 정렬을 달성하기 위해 국소적 파arametric 변형을 반복적으로 적용한다. 기존의 표준 B-spline 정렬 방식과 달리, R2N2는 국소적 변형의 순환적 시퀀스를 학습하여 동일한 정확도를 달성하면서도 15배 빠른 속도와 B-spline 방법에 비해 7.6%의 파라미터만을 필요로 한다.

ABSTRACT

Parametric spatial transformation models have been successfully applied to image registration tasks. In such models, the transformation of interest is parameterized by a fixed set of basis functions as for example B-splines. Each basis function is located on a fixed regular grid position among the image domain, because the transformation of interest is not known in advance. As a consequence, not all basis functions will necessarily contribute to the final transformation which results in a non-compact representation of the transformation. We reformulate the pairwise registration problem as a recursive sequence of successive alignments. For each element in the sequence, a local deformation defined by its position, shape, and weight is computed by our recurrent registration neural network. The sum of all local deformations yield the final spatial alignment of both images. Formulating the registration problem in this way allows the network to detect non-aligned regions in the images and to learn how to locally refine the registration properly. In contrast to current non-sequence-based registration methods, our approach iteratively applies local spatial deformations to the images until the desired registration accuracy is achieved. We trained our network on 2D magnetic resonance images of the lung and compared our method to a standard parametric B-spline registration. The experiments show, that our method performs on par for the accuracy but yields a more compact representation of the transformation. Furthermore, we achieve a speedup of around 15 compared to the B-spline registration.

연구 동기 및 목표

• 기존의 파라미터 기반 B-spline 정렬 방식이 변형 가능한 의료 영상 정렬에서 비효율적이고 비컴팩트한 표현을 가지는 문제를 해결하기 위해.
• 고정된 기저 함수 그리드가 아닌 국소적 변형의 시퀀스로 변형을 모델링하여 정렬 속도 향상과 표현의 컴팩트함을 향상시키기 위해.
• 반복적인 영상 정렬을 위한 순환 네트워크의 엔드 투 엔드 비지도 학습을 가능하게 하기 위해.
• 폐 MRI에서 다양한 해부학적 영역과 호흡 단계에서 높은 정확도를 달성하기 위해.
• 순환 신경망을 변형 가능한 영상 정렬에 적용하는 것이 가능할지 탐색하며, 이는 RNN 기술이 의료 영상 분야에 새로운 응용을 제공하는 것을 목적으로 한다.

제안 방법

• R2N2는 쌍방향 변형 가능한 영상 정렬을 국소적 변형의 순환적 시퀀스로 설정하며, 각 단계에서 학습된 국소적 변형을 적용한다.
• 각 시간 단계에서 네트워크는 순환 아키텍처를 사용하여 위치, 형태 및 무게로 정의된 국소적 변형을 예측한다.
• 최종 변형은 모든 국소적 변형의 누적 합으로 구성되며, 이는 컴팩트하고 적응 가능한 표현을 가능하게 한다.
• 이미지 재구성 손실(MSE)과 총 변동성(TV) 정규화를 조합한 비지도 방식으로 학습된다.
• 특징 추출과 변형 예측을 위해 유니넷 유사 인코더-디코더 아키텍처를 사용하며, 예측된 변형을 적용하기 위해 공간 변환기 레이어를 통합한다.
• 2D 폐 MRI 데이터에서 다양한 호흡 단계에 걸쳐 학습을 수행하며, 점진적인 해상도 스케일링과 검증 손실 기반 조기 정지 전략을 적용한다.

실험 결과

연구 질문

• RQ1 순환 신경망이 국소적 변형을 반복적으로 개선함으로써 기존 B-spline 정렬 방식과 유사한 성능을 달성할 수 있는가?
• RQ2 시퀀스 기반 접근 방식이 고정된 기저 함수에 비해 최종 변형의 표현을 더 컴팩트하게 만들 수 있는가?
• RQ3 R2N2 방법이 전통적인 B-spline 정렬 방식에 비해 상당한 속도 향상을 달성하면서도 높은 정확도를 유지할 수 있는가?
• RQ4 이 방법은 폐 MRI에서 다양한 해부학적 슬라이스 위치와 호흡 단계에 걸쳐 잘 일반화되는가?
• RQ5 지식 없는 변형장이 없는 비지도 학습을 통해 순환 네트워크가 복잡한 비선형 변형을 효과적으로 학습할 수 있는가?

주요 결과

• R2N2는 모든 슬라이스에서 평균 목표 정렬 오차(TRE)가 1.16 mm로, 동일한 테스트 세트에서 표준 B-spline 방법(1.10 mm)과 유사한 성능을 달성한다.
• 최종 변형을 기술하기 위해 필요한 파라미터 수를 B-spline 방법에 비해 단지 7.6%로 줄여 매우 컴팩트한 표현임을 입증한다.
• 정렬 계산 시간은 약 15배 감소하여, NVIDIA GTX 1080에서 B-spline의 약 4.5초에서 R2N2는 약 0.3초로 단축된다.
• 스ライ스 위치와 호흡 단계가 환자별로 다를 경우에도 네트워크는 잘 일반화되며, 일관된 성능을 유지한다.
• 시각적 분석 결과, R2N2는 고운동 영역(예: diaphragm)에서 초기에 큰 변형을 적용하고, 이후 단계에서 더 작은 국소적 변형으로 정밀 조정하는 방식으로 학습함을 확인할 수 있다.
• 이 방법은 영상 콘텐츠와 운동 패tern의 변화에 대해 강건하며, 다양한 해부학적 영역에서 성능 저하 없이 안정적인 성능을 보인다.