[논문 리뷰] Introduction to Medical Image Registration with DeepReg, Between Old and New

Nina Montaña-Brown, Yunguan Fu외 11명|arXiv (Cornell University)|2020. 08. 29.

Radiomics and Machine Learning in Medical Imaging참고 문헌 11인용 수 4

한 줄 요약

이 튜토리얼은 의료 영상 정합을 위한 오픈소스 딥러닝 프레임워크인 DeepReg를 소개하며, 전통적인 최적화 기반 방법과 현대적인 학습 기반 접근법을 통합한 사례를 제시한다. 연구자들이 실제 임상 데이터를 사용하여 강성, 비강성, 딥러닝 기반 정합을 구현하고 비교할 수 있도록 하며, 텐서플로우 2를 통한 GPU 가속 훈련과 함께 엔드 투 엔드 코드 예제를 제공하여 실질적인 임상 환경에서 정확한 영상 정렬을 달성한다.

ABSTRACT

This document outlines a tutorial to get started with medical image registration using the open-source package DeepReg. The basic concepts of medical image registration are discussed, linking classical methods to newer methods using deep learning. Two iterative, classical algorithms using optimisation and one learning-based algorithm using deep learning are coded step-by-step using DeepReg utilities, all with real, open-accessible, medical data.

연구 동기 및 목표

• 딥러닝 기반 의료 영상 정합 분야에 익숙하지 않은 연구자들을 대상으로, 오픈소스 DeepReg 프레임워크를 활용한 실용적이고 코드 기반의 튜토리얼을 제공하는 것.
• DeepReg 내 통합된 구현을 통해 전통적인 최적화 기반 정합 방법과 현대적인 딥러닝 아키텍처를 원활하게 연결하는 것.
• 다양한 모odal리티와 종단 간 영상 정합을 포함한 실제 임상 적용 사례에서 DeepReg의 사용법을 보여주는 것.
• 최소한의 프로그래밍 경험을 가진 연구자들이 사전 패ckaged되고 테스트된 컴포넌트를 통해 최신 정합 기법을 재현하고 확장할 수 있도록 돕는 것.
• 접근 가능하고 잘 문서화된 도구와 예제를 제공하여 공동체 기반의 임상적으로 관련성이 높은 연구를 촉진하는 것.

제안 방법

• 튜토리얼은 DeepReg의 고수준 API를 통해 세 가지 정합 전략을 구현한다: 두 가지 전통적인 반복적 알고리즘(최적화 기반)과 하나의 딥러닝 기반 방법(유넷 유사 네트워크 사용).
• 텐서플로우 2와 Keras 호환 레이어를 활용하여 정합 모델을 정의하고 훈련하며, 영상 유사성과 변형 필드의 부드러움을 위한 손실 함수를 포함한다.
• 공개된 임상 데이터셋(예: T2-강조 MRI 및 레이블 맵)을 사용하여 사전 훈련된 딥러닝 모델을 쌍체 훈련 설정으로 미세조정한다.
• 프레임워크는 영상 및 레이블 워핑을 모두 지원하며, 고정, 이동, 변형된, 기준값 이미지의 슬라이스 단위 비교를 통해 출력을 시각화한다.
• Google Colab를 통한 GPU 지원을 통해 훈련을 가속화하였으며, 모델 추론 및 시각화 파이프라인은 주피터 노트북에 구현되었다.
• 코드베이스에는 데이터 로딩, 구성 파일 파싱(YAML), 모델 체크포인팅 등의 유틸리티가 포함되어 있어 재현 가능성과 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 통합된 프레임워크를 통해 전통적인 영상 정합 알고리즘과 딥러닝 기반 방법을 어떻게 구현하고 비교할 수 있는가?
• RQ2 DeepReg는 얼마나 효과적으로 기존 최적화 기반 방법과 현대적인 딥러닝 아키텍처 간의 원활한 통합을 가능하게 하는가?
• RQ3 T2-강조 MRI 및 레이블 맵)을 사용하여 사전 훈련된 딥러닝 모델을 쌍체 훈련 설정으로 미세조정한다.
• RQ4 프레임워크는 영상 및 레이블 워핑을 모두 지원하며, 고정, 이동, 변형된, 기준값 이미지의 슬라이스 단위 비교를 통해 출력을 시각화한다.
• RQ5 Google Colab를 통한 GPU 지원을 통해 훈련을 가속화하였으며, 모델 추론 및 시각화 파이프라인은 주피터 노트북에 구현되었다.
• RQ6 코드베이스에는 데이터 로딩, 구성 파일 파싱(YAML), 모델 체크포인팅 등의 유틸리티가 포함되어 있어 재현 가능성과 확장성을 보장한다.

주요 결과

• 튜토리얼은 주피터 노트북을 통한 완전한 재현 가능성과 함께, DeepReg를 활용한 전통적 및 딥러닝 기반 정합의 엔드 투 엔드 구현을 성공적으로 시연하였다.
• 딥러닝 모델은 예측된 슬라이스와 기준값 슬라이스 간의 시각적 비교를 통해 이동 영상과 레이블을 고정 영상에 정확하게 변형하는 데 성공하였다.
• Google Colab를 통한 GPU 기반 훈련은 몇 분 내로 완료되며, 임상 워크플로우 통합에 적합한 추론 시간을 확보하였다.
• 프레임워크는 정합 파이프라인의 일관성 있고 모듈화된 구현을 가능하게 하여 개발 시간을 단축하고 재현 가능성을 높였다.
• 영상 유사성과 변형의 부드러움을 위한 손실 함수의 통합은 현실적이며 해부학적으로 타당한 변형 필드를 도출하였다.
• 튜토리얼의 코드와 구성 파일은 공개되어 있어 공동체의 확장 및 새로운 임상 데이터셋에 대한 적응을 지원한다.