[논문 리뷰] Deep Generative Adversarial Networks for Compressed Sensing Automates MRI

Morteza Mardani, Enhao Gong외 9명|arXiv (Cornell University)|2017. 05. 31.

Advanced Image Processing Techniques참고 문헌 17인용 수 131

한 줄 요약

GANCS는 과거 MRI 데이터를 이용한 생성기-판별기 GAN으로 undersampled k-space로부터 진단적으로 고품질의 MR 이미지를 재구성하며 실시간 속도와 기존 CS 방법보다 우수한 품질을 달성합니다.

ABSTRACT

Magnetic resonance image (MRI) reconstruction is a severely ill-posed linear inverse task demanding time and resource intensive computations that can substantially trade off {\it accuracy} for {\it speed} in real-time imaging. In addition, state-of-the-art compressed sensing (CS) analytics are not cognizant of the image {\it diagnostic quality}. To cope with these challenges we put forth a novel CS framework that permeates benefits from generative adversarial networks (GAN) to train a (low-dimensional) manifold of diagnostic-quality MR images from historical patients. Leveraging a mixture of least-squares (LS) GANs and pixel-wise $\ell_1$ cost, a deep residual network with skip connections is trained as the generator that learns to remove the {\it aliasing} artifacts by projecting onto the manifold. LSGAN learns the texture details, while $\ell_1$ controls the high-frequency noise. A multilayer convolutional neural network is then jointly trained based on diagnostic quality images to discriminate the projection quality. The test phase performs feed-forward propagation over the generator network that demands a very low computational overhead. Extensive evaluations are performed on a large contrast-enhanced MR dataset of pediatric patients. In particular, images rated based on expert radiologists corroborate that GANCS retrieves high contrast images with detailed texture relative to conventional CS, and pixel-wise schemes. In addition, it offers reconstruction under a few milliseconds, two orders of magnitude faster than state-of-the-art CS-MRI schemes.

연구 동기 및 목표

• Undersampling 하에서 ill-posed 역문제를 다루어 실시간 MRI 재구성을 동기화한다.
• GAN을 사용하여 과거 데이터로부터 진단 품질의 MR 이미지를 저차원 매니폴드를 학습한다.
• 학습된 매니폴드에 걸쳐 잘못 샘플링된 이미지를 데이터 일관성 없이 투영하는 것을 방지한다.
• 실시간 영상에 적합한 빠르고 비반복적 재구성 파이프라인을 제공한다.

제안 방법

• 생성기 G를 학습시켜 aliased MRI(undersampled k-space의 역푸리에) 를 진단 품질의 매니폴드로 매핑하고 skip 연결이 있는 딥 리지드 네트워크를 사용한다.
• 구분기 D를 학습시켜 다층 CNN을 이용해 이미지를 진단 품질로 평가한다.
• LSGAN 목적 함수와 l1 픽셀 항을 결합하여 높은 주파수 질감을 복원하되 잡음을 제어한다(LS 비용과 l1의 혼합).
• soft/반복적 투영을 통한 잔차 블록 프레임워크 내에서 y ≈ Φx 를 만족하도록 G의 출력을 정제하는 데이터 일관성 투영을 도입한다.
• 훈련 중 미니배치로 D와 G를 교대로 업데이트하는 확률적 교대 최소화 방식을 사용한다.

실험 결과

연구 질문

• RQ1 GANCS가 학습한 perceptual 손실이 이미지 품질 측면에서 픽셀 단위의 l1/l2 비용과 비교하여 어떤 차이가 있는가?
• RQ2 전통적 CS MRI와 비교하여 진단 품질을 손실 없이 더 빠른 재구성이 가능한가?
• RQ3 네트워크가 MRI 매니폴드를 표현하고 aliasing 아티팩트를 억제하기 위해 어떤 이미지 특징을 학습하는가?
• RQ4 합리적인 재구성 품질에 도달하는 데 필요한 학습 샘플 수는 얼마인가?

주요 결과

스킴	신호대잡음비 (dB)	구조유사지수(SSIM)	재구성 시간(초)
ZF	15.28	0.72	0.0005
CS-WV	20.74	0.88	5.27
CS-TV	21.33	0.87	1.51
l2-net	18.96	0.81	0.02
l1-net	18.64	0.79	0.02
GAN	16.6	0.78	0.02
GANCS	20.48	0.87	0.02

• GANCS는 CS-WV, CS-TV, 및 l2/l1 네트보다 미세 구조를 더 잘 보존하는 고대비 질감 재구성을 달성한다.
• GANCS 재구성 시간은 약 10밀리초로 실시간 성능(초당 약 100 프레임)을 가능하게 한다.
• GANCS는 진단 품질 이미지를 전문가 방사선과가 gold-standard에 근접하게 평가되도록 생성하여, 지각 메트릭에서 기존 CS보다 우수하다.
• 표준 CS 도구상자에 비해 GANCS는 속도 향상을 제공하면서 지각 품질 및 질감 디테일을 유지하거나 개선한다.
• GANCS는 GAN을 통한 학습된 매니폴드와 데이터 일관성 투영을 활용하여 왜곡 제거와 측정에 대한 충실도 사이의 균형을 이룬다.