[논문 리뷰] Analysis of Deep Complex-Valued Convolutional Neural Networks for MRI Reconstruction

Elizabeth K. Cole, Joseph Y. Cheng외 2명|arXiv (Cornell University)|2020. 04. 03.

Medical Imaging Techniques and Applications참고 문헌 37인용 수 12

한 줄 요약

이 논문은 MRI 데이터의 본질적인 복소수 성격을 활용하여 실수부와 허수부로 분리하지 않고, 종단 간 복소수형 합성곱 신경망(CNN)을 제안한다. 다양한 데이터셋과 아키텍처에서 복소수형 CNN이 동일한 파rameter 수를 가진 실수형 네트워크보다 재구성 품질이 뛰어나다는 것을 입증한다.

ABSTRACT

Many real-world signal sources are complex-valued, having real and imaginary components. However, the vast majority of existing deep learning platforms and network architectures do not support the use of complex-valued data. MRI data is inherently complex-valued, so existing approaches discard the richer algebraic structure of the complex data. In this work, we investigate end-to-end complex-valued convolutional neural networks - specifically, for image reconstruction in lieu of two-channel real-valued networks. We apply this to magnetic resonance imaging reconstruction for the purpose of accelerating scan times and determine the performance of various promising complex-valued activation functions. We find that complex-valued CNNs with complex-valued convolutions provide superior reconstructions compared to real-valued convolutions with the same number of trainable parameters, over a variety of network architectures and datasets.

연구 동기 및 목표

• 딥 러닝 프레임워크가 복소수형 데이터를 처리하는 데 한계가 있다는 점을 해결하기 위해.
• 종단 간 복소수형 CNN이 과도하게 샘플링된 MRI 데이터를 재구성하는 데 있어 표준 실수형 이중채널 네트워크보다 우월한 성능을 보일 수 있는지 조사하기 위해.
• MRI 재구성 맥락에서 다양한 복소수형 활성화 함수의 성능을 평가하기 위해.
• 실수형 등가물과 비교해 복소수형 합성곱이 깊은 네트워크의 표현 능력을 유지하거나 향상시키는지 판단하기 위해.
• 의료 영상, 특히 MRI 스캔 가속화를 위한 복소수형 네트워크의 성능 기준을 설정하기 위해.

제안 방법

• 저자는 MRI 데이터를 본래의 복소수 영역에서 직접 처리할 수 있도록 복소수형 합성곱과 복소수형 활성화 함수를 사용한 딥 네트워크를 구현한다.
• 이러한 복소수형 네트워크를 동일한 학습 가능한 파rameter 수를 가진 실수형 이중채널 네트워크와 비교한다.
• 네트워크는 과도하게 샘플링된 k-스페이스 데이터를 기반으로 종단 간 훈련되어 고품질의 MR 영상을 재구성한다.
• 복소수에 적합하게 조정된 ReLU, ELU, Swish 등의 다양한 복소수형 활성화 함수를 평가한다.
• 일관된 일반화를 확보하기 위해 여러 공개된 MRI 데이터셋을 대상으로 실험을 수행한다.
• 다양한 가속도 요인에서 표준 평가 지표인 PSNR 및 SSIM을 사용해 성능을 정량적으로 평가한다.

실험 결과

연구 질문

• RQ1 동일한 파arameter 수를 가진 종단 간 복소수형 CNN이 실수형 이중채널 네트워크보다 더 나은 MRI 재구성 성능을 달성할 수 있는가?
• RQ2 다양한 복소수형 활성화 함수는 재구성 품질과 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 MRI 데이터의 복소수 대수적 구조를 유지함으로써 과도하게 샘플링된 재구성에서 일반화 능력과 강건성 향상이 이루어지는가?
• RQ4 복소수형 네트워크의 성능는 다양한 해부학적 영역과 촬영 프로토콜 간에 어떻게 스케일링되는가?
• RQ5 MRI 신호의 위상과 진폭을 모델링할 때, 복소수형 합성곱은 실수형 합성곱에 비해 어떤 상대적 이점이 있는가?

주요 결과

• 모든 테스트된 데이터셋과 가속도 요인에서 복소수형 CNN이 복소수형 합성곱을 사용할 경우, 동일한 파arameter 수를 가진 실수형 네트워크보다 유의미하게 높은 PSNR 및 SSIM 점수를 확보한다.
• 복소수형 활성화 함수의 사용은 실수형 대비 더 안정적인 훈련과 향상된 재구성 정밀도를 이끌어낸다.
• 동일한 파arameter 수를 가진 상태에서도 복소수형 네트워크가 실수형 네트워크를 능가함으로써, 복소수 영역 표현이 표현 능력 측면에서 우월한 이점을 제공한다는 것을 입증한다.
• 성능 향상은 뇌, 무릎, Abdominal 스캔을 포함한 여러 MRI 데이터셋에서 일관되게 관찰되어 일반화 가능성은 높다.
• 고가속도 스캔에서 미세한 해부학적 세부 정보를 더 잘 유지하고 잡음 요소를 줄이는 데 복소수형 네트워크가 뛰어난 능력을 보인다.
• 결과적으로 복소수형 딥 러닝은 MRI 재구성에 있어 실현 가능할 뿐 아니라, MR 신호의 본질적인 복소수 성격을 감안할 때 우월하다는 결론을 내릴 수 있다.