[논문 리뷰] Linear and Deformable Image Registration with 3D Convolutional Neural Networks

Stergios Christodoulidis, Mihir Sahasrabudhe외 5명|arXiv (Cornell University)|2018. 09. 13.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

이 논문은 유사도 기반으로 미세조정 가능한 워핑 레이어와 모듈식 유사도 함수를 사용하는 비지도 학습 기반의 단일 엔드 투 엔드 프레임워크를 통해 3D 복소 신경망을 제안한다. 이는 선형 및 비선형 변형 이미지 정렬을 동시에 학습한다. 이 방법은 0.5초당 한 명의 환자 기준으로 거의 실시간 성능을 달성하며, 3D MRI 폐 영상에서 최신의 탄성 정렬 기법보다 뛰어난 정확도를 보이며, 간질성 폐질환 분류에 있어 더 높은 임상적 관련성을 확보한다.

ABSTRACT

Image registration and in particular deformable registration methods are pillars of medical imaging. Inspired by the recent advances in deep learning, we propose in this paper, a novel convolutional neural network architecture that couples linear and deformable registration within a unified architecture endowed with near real-time performance. Our framework is modular with respect to the global transformation component, as well as with respect to the similarity function while it guarantees smooth displacement fields. We evaluate the performance of our network on the challenging problem of MRI lung registration, and demonstrate superior performance with respect to state of the art elastic registration methods. The proposed deformation (between inspiration & expiration) was considered within a clinically relevant task of interstitial lung disease (ILD) classification and showed promising results.

연구 동기 및 목표

• 3D 의료 영상에서 선형 및 비선형 이미지 정렬을 동시에 최적화하는 통합적 비지도 딥러닝 프레임워크를 개발한다.
• 고도의 정확도를 유지하면서 계산 비용을 줄이고 거의 실시간 추론을 가능하게 한다.
• 유사도 측정 기준 및 변환 유형의 선택과 무관하게 독립적인 모듈식 아키텍처를 구축한다.
• 흡기-呼기 폐 스캔에서 간질성 폐질환(ILD) 분류에 있어 학습된 변형의 임상적 관련성을 평가한다.
• 딥러닝 기반 정렬에서 유도된 변형장이 질병 진단을 위한 분류 정보를 어떻게 제공하는지 입증한다.

제안 방법

• 역삼각형 보간을 통해 기울기 전파를 가능하게 하는 가역적 워핑 레이어를 갖춘 3D CNN을 사용한다.
• 변형장은 애핀(선형) 변환 행렬 A와 비선형 밀도 이동장 G_N의 조합으로 모델링되며, 양자 모두를 종단 간(end-to-end)으로 예측한다.
• 유사도 함수(NCC, MI, DWM 등)를 네트워크 아키텍처에서 분리하여 모듈식 설계를 구현함으로써 다양한 통합이 가능하다.
• G를 밀도 박상 단위 이동 지도로 정의함으로써 부드럽고 자기 교차가 없는 변형을 보장한다.
• 지표가 없는 변형장을 요구하지 않고 영상 강도 유사도만을 사용하여 비지도 학습 방식으로 학습한다.
• 잔차 변형장 G_δ = G - G_I를 추출하여 ILD 진단을 위한 후행 분류기의 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 아키텍처가 통합적이고 종단 간 프레임워크에서 선형 및 비선형 정렬을 효과적으로 결합할 수 있는가?
• RQ2 제안된 비지도 3D CNN이 3D MRI 폐 영상에서 최신의 탄성 정렬 기법보다 뛰어난 정확도를 달성하는가?
• RQ3 네트워크가 학습한 변형장은 간질성 폐질환 상태와 같은 임상적 결과를 예측하는 데 사용될 수 있는가?
• RQ4 선형 성분의 통합이 전체 정렬 성능 및 계산 효율성에 어떤 영향을 미치는가?
• RQ5 변형장이 질병 분류를 위한 임상적으로 중요한 해부학적 정보를 어느 정도 유지하는가?

주요 결과

• 제안된 방법은 폐 정렬 작업에서 평균 목표 정렬 오차(ds)가 4.358 mm를 기록하여 기준 방법(4.699 mm)과 선형 성분이 제거된 버전(4.569 mm)을 모두 능가했다.
• 선형 성분의 통합으로 정확도가 약 0.5% 향상되어 성능 향상에 기여한 것으로 확인되었다.
• GPU 기반으로 한 환자당 약 0.5초의 추론 시간을 확보하여 거의 실시간 응용이 가능했다.
• 잔차 변형을 입력으로 사용한 분류기는 건강한 환자와 병변 환자를 구분하는 데 84.62%의 정확도를 기록하여 기준 방법(69.23%)보다 뚜렷이 뛰어났다.
• 시각화 결과 정렬 오차는 주로 이미지 경계부에 집중되어 있었으며, 이는 큰 局부 이동이 완전히 포착되지 않았기 때문이다.
• 모듈식 설계 덕분에 NCC, DWM, MI 등 다양한 유사도 측정 기준과의 원활한 통합이 가능하여 다양한 최적화 기준에서의 유연성과 강건성을 입증했다.