[논문 리뷰] Progressively Volumetrized Deep Generative Models for Data-Efficient Contextual Learning of MR Image Recovery

Mahmut Yurt, Muzaffer Özbey외 4명|arXiv (Cornell University)|2020. 11. 27.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 3D MRI 복원을 축적된 2D 횡단면 매핑으로 분해하는 프로그레시브 볼륨화 프레임워크인 ProvoGAN을 제안한다. 축적된 모델링의 강점과 2D 학습의 데이터 효율성을 결합함으로써, ProvoGAN은 낮은 모델 복잡도와 향상된 학습 행동을 유지하면서도 MRI 복원 및 합성 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Magnetic resonance imaging (MRI) offers the flexibility to image a given anatomic volume under a multitude of tissue contrasts. Yet, scan time considerations put stringent limits on the quality and diversity of MRI data. The gold-standard approach to alleviate this limitation is to recover high-quality images from data undersampled across various dimensions, most commonly the Fourier domain or contrast sets. A primary distinction among recovery methods is whether the anatomy is processed per volume or per cross-section. Volumetric models offer enhanced capture of global contextual information, but they can suffer from suboptimal learning due to elevated model complexity. Cross-sectional models with lower complexity offer improved learning behavior, yet they ignore contextual information across the longitudinal dimension of the volume. Here, we introduce a novel progressive volumetrization strategy for generative models (ProvoGAN) that serially decomposes complex volumetric image recovery tasks into successive cross-sectional mappings task-optimally ordered across individual rectilinear dimensions. ProvoGAN effectively captures global context and recovers fine-structural details across all dimensions, while maintaining low model complexity and improved learning behaviour. Comprehensive demonstrations on mainstream MRI reconstruction and synthesis tasks show that ProvoGAN yields superior performance to state-of-the-art volumetric and cross-sectional models.

연구 동기 및 목표

• 3D 볼륨 네트워크에서의 축적 모델링와 2D 횡단면 모델에서의 데이터 효율성 간의 상충 관계를 해결한다.
• 3D 생성 모델에서의 높은 모델 복잡도와 데이터 수요 문제를 극복한다.
• 볼륨 작업을 최적화된 2D 하위작업으로 순차적으로 분해함으로써 학습 행동과 구조적 세부 사항 복원을 향상시킨다.
• 모델 복잡도나 메모리 요구량을 증가시키지 않고도 모든 차원에서 효과적인 축적 학습을 가능하게 한다.

제안 방법

• 직선 방향( axial, coronal, sagittal)을 따라 MRI 볼륨을 순차적으로 처리하는 프로그레시브 볼륨화 전략을 도입한다. 각 방향에 맞는 전용 2D 생성 모델을 사용한다.
• 원본 볼륨에서 파생된 횡단면을 기반으로 각 2D 모델을 훈련하며, 한 단계의 출력을 다음 단계의 입력으로 사용하여 전체 3D 볼륨을 점진적으로 복원한다.
• 각 2D 매핑에 조건부 생성 적대적 네트워크(cGAN) 프레임워크를 사용하여 고해상도 이미지 합성과 복원을 가능하게 한다.
• 해부학적 맥락에 따라 적응적으로 재정렬할 수 있는 잠재력이 있는 바탕이 되는 방향 순서를 최적화하여 작업별 복원 성능을 높인다.
• 모델 병렬화를 사용하여 전체 프로그레시브 파이프라인을 엔드 투 엔드로 훈련함으로써 성능과 특징 일관성을 향상시킨다.
• 수렴성과 일반화를 향상시키기 위해 사전 훈련된 2D 모델을 초기화 또는 전이 학습에 활용한다.

실험 결과

연구 질문

• RQ1 3D MRI 복원을 2D 횡단면 매핑으로 프로그레시브하게 분해하는 방식이 표준 2D 모델보다 더 나은 축적 모델링을 달성하면서도 낮은 모델 복잡도를 유지할 수 있는가?
• RQ2 여러 직선 방향에 걸쳐 순차적으로 처리하는 방식이 단일 방향 2D 모델 또는 전체 3D 모델보다 복원 성능을 향상시키는가?
• RQ3 프로그레시브 볼륨화 전략이 종방향 슬라이스 간의 세밀한 구조 복원과 일관성에 얼마나 기여하는가?
• RQ4 이sovolumetric 또는 두꺼운 슬라이스 수거와 같은 조건에서 ProvoGAN의 성능은 어떻게 되는가?

주요 결과

• ProvoGAN은 뇌 및 무릎 MRI 데이터셋에서 3D 볼륨 모델과 횡단면 모델 모두에서 최신 기술 수준의 성능을 넘어서는 성과를 달성한다.
• 특히 세밀한 해부학적 세부 사항을 복원할 때, 기준 3D 및 2D 모델 대비 더 높은 구조 유사도(SSIM)와 피크 신호 대 노이즈 비율(PSNR)을 확보한다.
• 관리 가능한 2D 하위작업으로 분해함으로써 전체 3D 볼륨을 처리함에도 불구하고 낮은 모델 복잡도와 향상된 학습 행동을 유지한다.
• 프로그레시브 접근 방식은 오류 전파를 줄이고 종방향 슬라이스 간의 일관성을 향상시켜 독립적인 횡단면 처리에서 흔히 발생하는 아티팩트를 완화한다.
• 등방성 또는 거의 등방성 해상도를 가진 데이터셋에서 성능 향상이 가장 두드러지게 나타나지만, 이sovolumetric 수거 조건에서도 여전히 이점이 유지된다.
• T1, T1c, T2 및 FLAIR 등 다양한 MRI 대조 유형에 걸쳐 우수한 일반화 성능를 보이며, 다양한 수거 프로토콜에 대한 강건성을 입증한다.