[논문 리뷰] Data augmentation for deep learning based accelerated MRI reconstruction with limited data

Zalan Fabian, Reinhard Heckel외 1명|arXiv (Cornell University)|2021. 06. 28.

Medical Imaging Techniques and Applications인용 수 22

한 줄 요약

이 논문은 저데이터 환경에서 과적합을 줄이기 위해 MRI 촬영의 불변성을 활용하는 물리 기반 데이터 증강 파이프라인인 MRAugment을 제안한다. k-space 데이터에 공간 변환과 노이즈 유지 증강을 적용함으로써 일반화 능력과 강건성을 향상시켜, 훨씬 적은 훈련 데이터로도 최신 기술 수준의 성능을 달성한다—일부 설정에서는 데이터 요구량을 최대 98%까지 감소시키면서도 SOTA 성능을 유지하거나 초월한다.

ABSTRACT

Deep neural networks have emerged as very successful tools for image restoration and reconstruction tasks. These networks are often trained end-to-end to directly reconstruct an image from a noisy or corrupted measurement of that image. To achieve state-of-the-art performance, training on large and diverse sets of images is considered critical. However, it is often difficult and/or expensive to collect large amounts of training images. Inspired by the success of Data Augmentation (DA) for classification problems, in this paper, we propose a pipeline for data augmentation for accelerated MRI reconstruction and study its effectiveness at reducing the required training data in a variety of settings. Our DA pipeline, MRAugment, is specifically designed to utilize the invariances present in medical imaging measurements as naive DA strategies that neglect the physics of the problem fail. Through extensive studies on multiple datasets we demonstrate that in the low-data regime DA prevents overfitting and can match or even surpass the state of the art while using significantly fewer training data, whereas in the high-data regime it has diminishing returns. Furthermore, our findings show that DA can improve the robustness of the model against various shifts in the test distribution.

연구 동기 및 목표

• 큰 데이터셋을 확보하는 데 비용과 시간이 많이 들기 때문에, 딥러닝 기반 MRI 재구성에서 훈련 데이터 부족 문제를 해결한다.
• MRI 재구성과 같은 역문제에서 표준 이미지 수준의 변환으로 인해 측정 일관성이 손상되는 등의 문제를 해결하기 위해, 단순한 데이터 증강 기법의 한계를 극복한다.
• MRI 촬영의 물리적 제약 조건을 고려한 데이터 증강 파이프라인을 개발하여 모델의 일반화 능력과 강건성을 향상시킨다.
• 물리 기반 데이터 증강이 재구성 품질을 유지하거나 향상시키면서도 데이터 요구량을 크게 줄일 수 있음을 입증한다.
• 데이터 증강이 의료 영상 재구성에서 분포 이탈 및 환영 현상에 대한 모델 강건성에 미치는 영향을 조사한다.

제안 방법

• MRI 측정의 기본 물리적 특성을 유지하면서 k-space 데이터에 공간 변환(예: 회전, 반전)을 적용하는 데이터 증강 파이프라인인 MRAugment를 제안한다.
• 훈련 및 검증 시 노이즈 분포가 일치하지 않는 문제를 방지하기 위해, 전방 k-space 투영 이전에 이미지 도메인에서 변환을 적용하여 증강된 데이터가 일관된 노이즈 분포를 유지하도록 보장한다.
• 일반화 능력을 향상시키기 위해 훈련 중에 점진적으로 증강 강도를 높이는 지수 스케줄링 전략을 사용한다.
• 고정된 강체 변환(회전, 반전, 이동)을 이미지에 적용한 후 k-space 샘플링을 수행함으로써, 결과 측정치가 촬영 모델과 일치하도록 보장한다.
• 표준 L2 손실을 사용하여 U-Net 기반 딥러닝 재구성 모델에 증강 파이프라인을 통합하고, 엔드 투 엔드로 훈련한다.
• 다양한 데이터셋(뇌 및 무릎 MRI), 다양한 과도성 샘플링 방식, 스캐너 이동 조건에서 메서드를 검증한다.

실험 결과

연구 질문

• RQ1 물리 기반 데이터 증강이 성능을 저하시키지 않으면서 딥러닝 기반 MRI 재구성에 필요한 훈련 데이터량을 줄일 수 있는가?
• RQ2 MRAugment는 MRI 재구성에서 표준 이미지 수준의 증강 기법과 비교해 어떤 수준의 재구성 품질과 일반화 능력을 보이는가?
• RQ3 데이터 증강이 스캐너 또는 자기장 강도의 차이와 같은 분포 이탈에 대해 모델의 강건성을 얼마나 향상시키는가?
• RQ4 특히 저데이터 환경에서 재구성 영상의 환영적 특징이 데이터 증강으로 줄어드는가?
• RQ5 훈련 데이터가 부족하거나 빠르게 분포가 변화하는 상황에서 데이터 증강이 일반화 능력을 향상시킬 수 있는가?

주요 결과

• MRAugment는 저데이터 환경에서 과적합을 크게 줄여, 전체 훈련 데이터셋의 2%만으로도 최신 기술 수준의 재구성 품질을 달성한다.
• fastMRI 뇌 데이터셋에서 MRAugment를 사용할 경우, 2% 데이터로 훈련했을 때 SSIM이 0.8646(증강 없음)에서 0.9049로 향상되어 비증강 모델을 능가한다.
• MRAugment로 훈련한 모델은 스캐너 이동에 대해 뛰어난 강건성을 보였으며, 1.5T에서 훈련한 후 3T 데이터에서 테스트했을 때 SSIM이 0.8241에서 0.8551로 향상되었다.
• 노이즈 분포를 고려하지 않고 직접 이미지에 적용한 단순한 데이터 증강은 성능을 떨어뜨리며, 분포 불일치로 인해 고주파 아티팩트가 발생하고 이미지 품질이 저하되었다.
• MRAugment를 사용함으로써 재구성 영상에서 환영적 특징이 감소했으며, 특히 저데이터 설정에서 뚜렷하게 관찰되었고, 시각적 비교와 정량적 SSIM 향상으로 입증되었다.
• 고데이터 환경에서는 데이터 증강의 이점이 감소함을 확인하여, MRAugment가 데이터가 부족할 때 가장 효과적임을 시사한다.