[논문 리뷰] A Transfer-Learning Approach for Accelerated MRI using Deep Neural Networks

Salman Ul Hassan Dar, Muzaffer Özbey외 2명|arXiv (Cornell University)|2017. 10. 06.

Advanced MRI Techniques and Applications인용 수 9

한 줄 요약

이 논문은 대규모 공공 데이터셋(예: ImageNet 또는 뇌 MRI 스캔)에서 사전 훈련하고, 제한된 대상 도메인 데이터에서 미세 조정함으로써, 수십 개의 개별 환자용 MRI 영상만으로도 고성능의 가속 MRI 재구성에 적합한 전이 학습 프레임워크를 제안한다. 이 방법은 수천 개의 영상으로부터 끊어진 채로 훈련된 네트워크와 비교해도 성능가능성을 확보하며, 대규모 도메인 특화 데이터셋이 필요한 양을 크게 줄인다.

ABSTRACT

Purpose: Neural networks have received recent interest for reconstruction of undersampled MR acquisitions. Ideally network performance should be optimized by drawing the training and testing data from the same domain. In practice, however, large datasets comprising hundreds of subjects scanned under a common protocol are rare. The goal of this study is to introduce a transfer-learning approach to address the problem of data scarcity in training deep networks for accelerated MRI. Methods: Neural networks were trained on thousands of samples from public datasets of either natural images or brain MR images. The networks were then fine-tuned using only few tens of brain MR images in a distinct testing domain. Domain-transferred networks were compared to networks trained directly in the testing domain. Network performance was evaluated for varying acceleration factors (2-10), number of training samples (0.5-4k) and number of fine-tuning samples (0-100). Results: The proposed approach achieves successful domain transfer between MR images acquired with different contrasts (T1- and T2-weighted images), and between natural and MR images (ImageNet and T1- or T2-weighted images). Networks obtained via transfer-learning using only tens of images in the testing domain achieve nearly identical performance to networks trained directly in the testing domain using thousands of images. Conclusion: The proposed approach might facilitate the use of neural networks for MRI reconstruction without the need for collection of extensive imaging datasets.

연구 동기 및 목표

• 가속 MRI 재구성에 대한 깊은 신경망 훈련에서 데이터 부족 문제를 해결하기 위해.
• MRI 재구성 네트워크 훈련을 위해 대규모 도메인 특화 데이터셋이 필요로 하는 한계를 극복하기 위해.
• 일반적인 이미지 도메인(예: ImageNet) 또는 공공의 MRI 데이터셋에서의 지식을 새로운 제한된 대상 MRI 도메인으로 효과적으로 전이하기 위해.
• 오직 수십 개의 대상 도메인 MRI 영상으로만 미세 조정해도 수천 개의 영상으로 훈련된 네트워크와 동일한 성능을 달성할 수 있음을 입증하기 위해.
• 임상 MRI에서 딥 러닝의 실용적 구현을 촉진하기 위해 데이터 수집 부담을 줄이기 위해.

제안 방법

• 자연 이미지(ImageNet) 및 뇌 MRI 영상과 같은 대규모 공공 데이터셋에서 깊은 신경망을 사전 훈련한다.
• 새로운 대상 도메인(예: T1- 또는 T2-가중 영상)에서 오직 수십 개의 MRI 영상으로 사전 훈련된 네트워크를 미세 조정한다.
• 스킵 연결을 통해 공간적 세부 정보를 유지하는 U-Net 유사 아키텍처를 이미지 재구성에 사용한다.
• 대상 MRI 도메인에 맞게 네트워크 가중치를 적응시키기 위해 표준 최적화 기법(예: Adam)을 미세 조정 단계에서 적용한다.
• 가속도 요인(2–10)과 훈련 샘플 크기(0.5k–4k)를 다양하게 설정해 성능을 평가한다.
• 동일한 대상 도메인에서 끊어진 채로 훈련된 네트워크와의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 깊은 신경망이 최소한의 미세 조정 데이터로 새로운 MRI 도메인에 성공적으로 적응할 수 있는가?
• RQ2 오직 수십 개의 대상 도메인 영상만을 사용할 경우, 전이 학습 성능가능성이 끊어진 채로 훈련된 것과 비교해 어떻게 되는가?
• RQ3 전이 학습이 서로 다른 MRI 대trast(예: T1- 대비 T2-가중) 간에 일반화 가능한가?
• RQ4 전이 학습을 통해 얼마나 많은 대규모 주관적 MRI 데이터셋이 필요로 하는지 줄일 수 있는가?
• RQ5 자연 이미지 데이터셋(예: ImageNet)에서 전이 학습을 통해 효과적인 MRI 재구성 결과를 도출할 수 있는가?

주요 결과

• 오직 10~100개의 대상 도메인 MRI 영상으로만 미세 조정된 네트워크가 4,000개의 영상으로부터 끊어진 채로 훈련된 네트워크와 거의 동일한 재구성 품질을 달성했다.
• 전이 학습은 T1-와 T2-가중 MRI 영상 간의 도메인 간 격차를 성공적으로 해소하여, 서로 다른 대조 영상 간 재구성도 가능하게 했다.
• 가속도 요인이 2에서 10에 이르는 범위에서도 성능이 안정적이었으며, 영상 품질에 대한 열화가 최소한이었다.
• ImageNet에서 뇌 MRI 영상으로의 전이 학습이 강력한 결과를 도출하여, 도메인 간 사전 훈련의 가능성성을 입증했다.
• 기존의 훈련 방식에 비해 고성능 재구성을 위한 훈련 데이터 요구량을 최대 90%까지 줄일 수 있었다.
• 대상 도메인에서 오직 10장의 영상으로만 미세 조정해도 경쟁적인 피크 신호 대 노이즈 비율(PSNR)과 구조적 유사도(SSIM) 값을 확보했다.