[논문 리뷰] Unsupervised End-to-end Learning for Deformable Medical Image Registration

Siyuan Shan, Yan Wen외 4명|arXiv (Cornell University)|2017. 11. 23.

Medical Image Segmentation Techniques참고 문헌 3인용 수 37

한 줄 요약

이 논문은 이미지 특징과 변형 장을 동시에 학습하는 완전 컨volution 신경망을 사용하여 비정형 의료 영상 정렬을 위한 비지도(end-to-end) 딥 러닝 프레임워크를 제안한다. 이 방법은 2D 뇌 영상 정렬에서 최신 기술 수준의 성능을 달성하며, 기존 방법보다 100배 빠른 추론 속도를 보이며, 레이블이 없는 추가 데이터로 훈련할 경우 성능이 약 10% 향상된다.

ABSTRACT

We propose a registration algorithm for 2D CT/MRI medical images with a new unsupervised end-to-end strategy using convolutional neural networks. The contributions of our algorithm are threefold: (1) We transplant traditional image registration algorithms to an end-to-end convolutional neural network framework, while maintaining the unsupervised nature of image registration problems. The image-to-image integrated framework can simultaneously learn both image features and transformation matrix for registration. (2) Training with additional data without any label can further improve the registration performance by approximately 10 %. (3) The registration speed is 100x faster than traditional methods. The proposed network is easy to implement and can be trained efficiently. Experiments demonstrate that our system achieves state-of-the-art results on 2D brain registration and achieves comparable results on 2D liver registration. It can be extended to register other organs beyond liver and brain such as kidney, lung, and heart.

연구 동기 및 목표

• 라벨이 부여된 변형 장 또는 분할 마스크가 필요 없이 비지도, 엔드 투 엔드 딥 러닝 프레임워크를 개발하여 비정형 의료 영상 정렬을 수행한다.
• 단일 완전 컨volution 신경망 아키텍처 내에서 이미지 특징 추출과 변형 장 예측을 공동 최적화할 수 있도록 한다.
• 비용이 많이 드는 수동 레이블링을 피하기 위해 레이블이 없는 데이터만을 사용하여 정렬 정확도를 향상시킨다.
• 임상 적용에 적합한 실시간 추론 속도를 달성하여 기존 반복적 방법보다 크게 빠르게 한다.

제안 방법

• 고정 영상과 이동 영상 쌍을 입력으로 받아 조밀한 변형 장을 직접 출력하는 완전 컨볼루션 신경망(FCN)을 사용한다.
• 얻어진 변형 장을 사용하여 이차보간을 위한 샘플링 격자를 생성하고, 이동 영상을 고정 영상으로 왜곡한다.
• 정합된 이동 영상과 고정 영상 간의 L2 차이로 광학적 손실(photometric loss)을 계산하여, 지도 학습이 없이도 역전파가 가능하도록 한다.
• 해부학적 경계를 유지하기 위해 변형 장을 정규화하기 위해 에지 인식 스무쓰니스 손실(edge-aware smoothness loss)을 도입한다.
• 분할 마스크나 옵티컬 플로우 레이블이 필요 없이, 단지 영상 쌍만을 사용하여 엔드 투 엔드 방식으로 네트워크를 훈련한다.
• 추가로 레이블이 없는 데이터를 훈련 중에 활용하여 성능을 더욱 향상시키며, 이는 비지도 전략의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 변형 장이나 분할 마스크가 전혀 없이도 완전 컨볼루션 신경망을 엔드 투 엔드로 훈련하여 비지도 비정형 영상 정렬을 수행할 수 있는가?
• RQ2 추가로 레이블이 없는 데이터를 포함시키면 비지도 정렬 네트워크의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 감독 없이도 2D 뇌 및 간 영상 데이터셋에서 최신 기술 수준의 정렬 정확도를 달성할 수 있는가?
• RQ4 제안된 에지 인식 스무쓰니스 손실은 표준 스무쓰니스 정규화에 비해 정렬 품질을 얼마나 향상시키는가?
• RQ5 제안된 방법의 추론 속도는 ITK나 ANTs와 같은 기존 반복적 정렬 알고리즘과 비교하여 어떻게 되는가?

주요 결과

• 제안된 비지도 방법은 2D 뇌 영상 정렬에서 최신 기술 수준의 성능을 달성하며, PE w/ mask와 더 많은 레이블이 없는 데이터로 훈련한 경우 평균 목표 정렬 오차(Dist)는 3.31 mm이다.
• 추가로 레이블이 없는 데이터로 훈련할 경우 성능이 약 10% 향상되며, 이는 자기지도 학습 기반 데이터 증강의 효과를 입증한다.
• 기존 반복적 방법 대비 100배 빠른 속도로 작동하며, 케이스당 추론 시간은 약 0.094초로, ITK나 ANTs의 수분 수준에 비해 빠르다.
• 영역 관심 영역(ROI) 분할 모듈의 포함은 간 영상의 정렬 정확도를 향상시키지만, 배경 노이즈가 낮아 뇌 영상에서는 효과가 더 작다.
• 이 방법은 뇌와 간을 초월해 잘 일반화되며, 신장, 폐, 심장 등의 다른 장기로의 확장 가능성도 있다.
• 제거 실험(ablation study) 결과, 에지 인식 스무쓰니스 손실이 해부학적 경계를 유지함으로써 정렬 품질 향상에 기여하는 것으로 확인되었다.