[논문 리뷰] Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction

Bhavya Vasudeva, Puneesh Deora외 2명|arXiv (Cornell University)|2020. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 7

한 줄 요약

이 논문은 복소수 값을 갖는 MRI 데이터를 직접 처리하여 진폭과 위상 정보를 모두 유지하는 복소수 기반 생성 적대 신경망 Co-VeGAN을 제안한다. 복소수 연산과 새로운 위상 민감한 활성화 함수를 통해 고유한 복소수 연산을 구현한다. 이 방법은 다양한 데이터셋과 샘플링 패턴에서 복소수 압축 센싱 MRI 재구성에서 최신 기술 수준의 재구성 품질을 달성하며, 파rameter 수가 현저히 적고 PSNR 및 mSSIM 점수도 뛰어나다.

ABSTRACT

Compressive sensing (CS) is widely used to reduce the acquisition time of magnetic resonance imaging (MRI). Although state-of-the-art deep learning based methods have been able to obtain fast, high-quality reconstruction of CS-MR images, their main drawback is that they treat complex-valued MRI data as real-valued entities. Most methods either extract the magnitude from the complex-valued entities or concatenate them as two real-valued channels. In both the cases, the phase content, which links the real and imaginary parts of the complex-valued entities, is discarded. In order to address the fundamental problem of real-valued deep networks, i.e. their inability to process complex-valued data, we propose a novel framework based on a complex-valued generative adversarial network (Co-VeGAN). Our model can process complex-valued input, which enables it to perform high-quality reconstruction of the CS-MR images. Further, considering that phase is a crucial component of complex-valued entities, we propose a novel complex-valued activation function, which is sensitive to the phase of the input. Extensive evaluation of the proposed approach on different datasets using various sampling masks demonstrates that the proposed model significantly outperforms the existing CS-MRI reconstruction techniques in terms of peak signal-to-noise ratio as well as structural similarity index. Further, it uses significantly fewer trainable parameters to do so, as compared to the real-valued deep learning based methods.

연구 동기 및 목표

• 기존 딥러닝 방법들이 복소수 값을 갖는 MRI 데이터를 위상 정보를 버리고 실수 값으로 처리함으로써 초래하는 근본적 한계를 해결하기 위해.
• 실수 및 허수 성분 간의 상호의존성을 유지하면서 복소수 값을 갖는 데이터를 종단 간(end-to-end) 처리할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 위상 변화에 민감한 학습 가능한 복소수 활성화 함수를 도입하여 재구성 품질을 향상시키기 위해.
• 높은 성능를 유지하면서도 학습 가능한 파rameter 수를 최소화하여 모델 복잡도를 감소시키기 위해.
• 다양한 해부학적 구조와 샘플링 패턴에 걸쳐 일반화 능력을 검증하고, 미세조정 없이도 새로운 데이터에 대해 제로샷 추론(Zero-shot inference)이 가능한지 검토하기 위해.

제안 방법

• 제안된 Co-VeGAN 프레임워크는 생성자와 판별자 전반에 걸쳐 복소수 연산을 적용하여, 진폭만 또는 실수-허수 채널을 연결하는 방식 없이 복소수 k-스페이스 데이터를 직접 처리할 수 있도록 한다.
• 입력 위상에 민감한 새로운 복소수 활성화 함수인 PC-SS(Phase-Consistent Sigmoid)를 도입하여, MRI에서의 위상 의존적 특징을 모델링할 수 있는 능력을 향상시킨다.
• 스킵 연결을 갖춘 U-Net 기반 생성자와 패치 기반 패치 판별자를 사용하여 적대적 훈련을 수행함으로써 고주파 세부 정보 복원을 촉진한다.
• 손실 함수로 L1 손실, 다중 척도 SSIM(mSSIM), 웨이블릿 기반 손실(Lwvt)을 포함하여 데이터 일관성과 구조적 충실도를 강화한다.
• 수집된 k-스페이스 측정치와 일치하도록 수반된 샘플링 연산자의 수반 연산을 통해 데이터 일관성 손실을 훈련 과정에 통합한다.
• 홀로그램을 최소화하고 현실감 있는 재구성을 향상시키기 위해 종단 간 훈련을 위해 적대적, 인지적, 재구성 손실의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 위상 정보를 유지함으로써 복소수 기반 GAN 프레임워크가 실수 기반 딥러닝 방법보다 복소수 압축 센싱 MRI 재구성에서 우월한 성능을 낼 수 있는가?
• RQ2 위상 민감한 복소수 활성화 함수는 기존 실수 기반 활성화 함수보다 재구성 품질을 어떻게 향상시키는가?
• RQ3 Co-VeGAN은 다양한 해부학적 구조와 샘플링 패턴에 대해 얼마나 잘 일반화되는가? 특히, 미세조정 없이도 새로운 데이터에 대해 제로샷 추론이 가능한가?
• RQ4 기존 최신 기술 수준의 방법보다 파rameter 수가 적은데도 Co-VeGAN이 뛰어난 재구성 품질을 달성할 수 있는가?
• RQ5 웨이블릿 기반 손실과 구조적 유사도 손실의 통합이 재구성된 MR 영상에서 미세한 해부학적 세부 정보의 유지에 어떤 영향을 미치는가?

주요 결과

• MICCAI 2013 데이터셋에서 Co-VeGAN은 30% 샘플링 비율에서 PSNR 45.678 dB, mSSIM 0.9927을 기록하여 기존 방법들을 뛰어넘는 성능을 보였다.
• fastMRI 데이터셋에서는 30% 샘플링 비율에서 PSNR 34.593 dB, mSSIM 0.7893을 기록하여 임상 수준의 데이터에서 뛰어난 성능를 입증했다.
• 모델는 제로샷 추론에 대해 잘 일반화되었으며, MICCAI 2013 챌린지의 개 다리 영상에서 미세조정 없이도 PSNR 42.949 dB, mSSIM 0.9864를 기록했다.
• 실수 기반 최신 기술 수준의 방법보다 Co-VeGAN은 훨씬 적은 학습 가능한 파rameter를 사용하여 저장 및 계산 요구량을 감소시켰다.
• 시각적 결과에서는 확대 영역에서 재구성된 영상과 진짜 영상 간의 차이가 거의 없음을 확인하여 미세한 세부 정보 유지 및 최소한의 환영 현상(홀로그램)을 입증했다.
• 전문 방사선의가 재구성된 영상이 진짜 영상과 진단적으로 구분되지 않으며, 잡음이나 환영된 구조의 흔적도 없음을 확인했다.