[논문 리뷰] VORTEX: Physics-Driven Data Augmentations Using Consistency Training for Robust Accelerated MRI Reconstruction

Arjun Desai, Beliz Gunel외 7명|arXiv (Cornell University)|2021. 11. 03.

Medical Imaging Techniques and Applications인용 수 5

한 줄 요약

VORTEX는 물리 기반 데이터 증강(예: 노이즈 및 운동 오염)과 이미지 기반 증강을 결합한 물리 기반, 준지도 학습 일致성 훈련 프레임워크를 제안하여 가속화된 MRI 재구성에 활용한다. 이는 분포 외부의 운동 오염 데이터에서 최신 기술(SOTA) 성능을 기록하며, 최대 +0.124 SSIM 및 +7.0 dB cPSNR 향상을 달성했고, 분포 내 성능 또한 우수하게 유지한다.

ABSTRACT

Deep neural networks have enabled improved image quality and fast inference times for various inverse problems, including accelerated magnetic resonance imaging (MRI) reconstruction. However, such models require a large number of fully-sampled ground truth datasets, which are difficult to curate, and are sensitive to distribution drifts. In this work, we propose applying physics-driven data augmentations for consistency training that leverage our domain knowledge of the forward MRI data acquisition process and MRI physics to achieve improved label efficiency and robustness to clinically-relevant distribution drifts. Our approach, termed VORTEX, (1) demonstrates strong improvements over supervised baselines with and without data augmentation in robustness to signal-to-noise ratio change and motion corruption in data-limited regimes; (2) considerably outperforms state-of-the-art purely image-based data augmentation techniques and self-supervised reconstruction methods on both in-distribution and out-of-distribution data; and (3) enables composing heterogeneous image-based and physics-driven data augmentations. Our code is available at https://github.com/ad12/meddlr.

연구 동기 및 목표

• 완전히 샘플링된 MRI 데이터 확보가 어려운 문제를 해결하기 위해, 이는 획득에 비용이 많이 들고 시간이 오래 걸린다.
• 의학적으로 관련성이 높은 분포 이탈, 예를 들어 신호 대 잡음비(SNR) 변화 및 운동 아티팩트에 대한 딥 러닝 기반 MRI 재구성 모델의 강건성을 향상시키기 위해.
• 기존 데이터 증강 기반 방법에서 흔히 발생하는 분포 내 및 분포 외 일반화 간의 성능 상충 문제를 해결하기 위해.
• 물리 기반 증강을 활용하는 일致성 훈련 프레임워크를 통해 레이블이 없는, 저해상도 MRI 데이터를 효과적으로 활용하기 위해.
• 모델 일반화를 향상시키기 위해 이질적인 이미지 기반 증강과 물리 기반 증강을 통합하는 것 지원하기 위해.

제안 방법

• VORTEX는 레이블이 있는(완전 샘플링된) 및 레이블이 없는(저해상도만 있는) MRI 데이터를 모두 활용하는 준지도 학습 일치 훈련 프레임워크를 적용한다.
• 전방 MRI 획득 모델과 알려진 MRI 물리 법칙에 기반한 물리 기반 데이터 증강(예: 시뮬레이션된 노이즈 및 운동 아티팩트)을 적용한다.
• 레이블이 없는 데이터의 경우, 모델이 재구성하여 의사 레이블(가짜 참조)을 생성하고, 증강된 버전이 이 의사 레이블을 따라가도록 최적화함으로써 물리 기반 흐트림에 대한 불변성을 강제한다.
• 물리 기반 증강의 난이도를 스케줄링하여 커리큘럼 학습을 지원하며, 처음에는 덜 강한 흐트림으로 시작하여 점차 강한 흐트림으로 전환한다.
• 이중 목표로 이미지 기반 증강(예: 회전, 스케일링, 뒤집기)과 물리 기반 증강(예: 운동, 노이즈)을 통합하여 동일한 훈련 목표 내에서 조합 가능하게 한다.
• 일치성 목적함수는 훈련 노이즈 통계 유지가 필요 없는 물리 기반 증강을 지원하는 Noise2Recon 노이즈 제거 프레임워크를 일반화한다.

실험 결과

연구 질문

• RQ1 물리 기반 데이터 증강은 가속화된 MRI 재구성에서 임상적으로 관련성이 높은 분포 이탈(예: 신호 대 잡음비 변화, 운동 아티팩트)에 대해 강건성을 향상시킬 수 있는가?
• RQ2 레이블 부족 환경에서 물리 기반 증강을 활용한 일치성 훈련은 순수 이미지 기반 증강 기법보다 성능이 뛰어나게 되는가?
• RQ3 이미지 기반 증강과 물리 기반 증강을 통합하는 통합 프레임워크는 모델 일반화를 향상시키는 데 효과적인가?
• RQ4 VORTEX는 이전 증강 기반 방법에서 흔히 나타나는 분포 내 및 분포 외 일반화 간 성능 상충 문제를 완화하는가?
• RQ5 레이블이 없는 데이터로부터 유도된 의사 레이블을 활용한 일치성 훈련은 분포 내 성능 저하 없이 레이블 효율성을 향상시킬 수 있는가?

주요 결과

• 자료 부족 환경에서 VORTEX는 극도로 운동 오염된 스캔에서 감독 기반 기준보다 +0.106 SSIM 및 +5.3 dB cPSNR 향상을 달성한다.
• 8배 가속도에서 fastMRI 다중 코ils 뇌 데이터셋에서 VORTEX는 운동 수준 α=1.0일 때 SSDU보다 +0.124 SSIM 및 +7.0 dB cPSNR를 기록한다.
• α=1.0에서 VORTEX는 MRAugment보다 +0.119 SSIM 및 +7.0 dB cPSNR를 기록하여 분포 외부 운동에 대한 뛰어난 강건성을 입증한다.
• VORTEX는 분포 내 성능도 우수하게 유지하여, 분포 내 데이터에서 0.840 SSIM 및 29.0 cPSNR를 기록했으며, 최신 기술 기준과 유사한 성능을 달성한다.
• 모든 운동 수준에서 VORTEX는 SSDU 및 MRAugment를 모두 초월하며, 노이즈 오염된 데이터에서 일관된 +0.089 SSIM 및 +2.5 dB cPSNR 향상을 기록한다.
• 표본 재구성 결과 VORTEX는 기존 기준 대비 더 잘 일관된 고스팅 아티팩트를 억제하면서 미세한 혈관 세부 구조를 유지하며, SSDU에서 관찰되는 흐림 현상은 피한다.