[논문 리뷰] Recurrent Generative Adversarial Networks for Proximal Learning and Automated Compressive Image Recovery

Morteza Mardani, Hatef Monajemi외 4명|arXiv (Cornell University)|2017. 11. 27.

Advanced Image Processing Techniques참고 문헌 29인용 수 39

한 줄 요약

이 논문은 압축 이미지 복원을 위한 이미지 사전을 학습하기 위해 프록시멀 기반 경사 하강 반복을 펼쳐내는 순환 생성 적대적 잔차 신경망(Recurrent GAN-ResNet)을 제안한다. 픽셀 단위 손실과 인지적 손실을 결합하여 복원 품질과 현실성 향상을 달성한다. 기존의 압축 감도 MRI에 비해 4 dB SNR 향상을 달성했으며, 추론 속도는 100배 빠르며, 심장병 환아의 MRI 재구성에서 깊은 ResNet 기반 모델보다 2 dB SNR 향상을 기록한다.

ABSTRACT

Recovering images from undersampled linear measurements typically leads to an ill-posed linear inverse problem, that asks for proper statistical priors. Building effective priors is however challenged by the low train and test overhead dictated by real-time tasks; and the need for retrieving visually "plausible" and physically "feasible" images with minimal hallucination. To cope with these challenges, we design a cascaded network architecture that unrolls the proximal gradient iterations by permeating benefits from generative residual networks (ResNet) to modeling the proximal operator. A mixture of pixel-wise and perceptual costs is then deployed to train proximals. The overall architecture resembles back-and-forth projection onto the intersection of feasible and plausible images. Extensive computational experiments are examined for a global task of reconstructing MR images of pediatric patients, and a more local task of superresolving CelebA faces, that are insightful to design efficient architectures. Our observations indicate that for MRI reconstruction, a recurrent ResNet with a single residual block effectively learns the proximal. This simple architecture appears to significantly outperform the alternative deep ResNet architecture by 2dB SNR, and the conventional compressed-sensing MRI by 4dB SNR with 100x faster inference. For image superresolution, our preliminary results indicate that modeling the denoising proximal demands deep ResNets.

연구 동기 및 목표

• 의료 및 자연 이미지 작업에서 선형 측정치가 부족한 상황에서 실시간으로 고정밀도의 이미지 복원을 해결하는 데 초점한다.
• 기존의 압축 감도 기반 기법(예: 느린 수렴, 낮은 인지적 품질)과 딥러닝 기반 모델(예: 높은 학습 오버헤드, 환영 현상)의 한계를 극복하여 부족한 조건에서의 역문제를 해결한다.
• 잔차 블록과 GAN 기반 인지적 손실을 사용해 프록시멀 연산자를 통해 효과적인 이미지 사전를 학습하는 경량의 순환 아키텍처를 설계한다.
• 지역적(예: 초해상도)과 전역적(예: MRI) 복원 작업에서 순환 소형 네트워크가 깊은 네트워크를 능가할 수 있는지 탐구한다.

제안 방법

• 각 단계에서 잔차 신경망(ResNet)으로 모델링된 학습된 프록시멀 연산자를 적용하는 계단식 순환 네트워크 아키텍처로 프록시멀 기반 경사 하강 반복을 펼쳐낸다.
• 생성자 네트워크를 GAN 프레임워크 내에서 픽셀 단위의 L2 손실과 사전 학습된 판별자로부터의 인지적 손실의 혼합으로 학습시켜 복원의 정확성과 인지적 타당성을 모두 확보한다.
• 단계 간에 공유 또는 독립적인 가중치를 사용하는 순환 구조를 도입하여 물리적 모델(데이터 일致성)과 사전 분포(가능성 있는 이미지 공간)의 교차 영역에 투영한다.
• 역행렬 조절을 위해 5단계의 경사 하강법을 사용하고 기울기 클리핑을 적용하여 전치 합성곱을 통한 업샘플링 시 훈련을 안정화시킨다.
• 두 가지 작업에 적용: k-space 측정치가 부족한 상황에서 소아 MRI 이미지 복원 및 32×32 CelebA 얼굴 이미지를 128×128로 초해상도 복원.

실험 결과

연구 질문

• RQ1 단일 잔차 블록을 가진 순환 ResNet 아키텍처가 압축 이미지 복원을 위한 프록시멀 연산자를 효과적으로 학습할 수 있으며, MRI 복원에서 더 깊은 네트워크보다 우월한 성능을 보일 수 있는가?
• RQ2 GAN 프레임워크 내에서 픽셀 단위 손실과 인지적 손실을 혼합 사용할 경우, 표준 L2 손실 대비 복원 이미지의 인지적 품질과 물리적 타당성이 향상되는가?
• RQ3 지역적 이미지 초해상도 작업과 전역적 MRI 복원 작업에서 순환 아키텍처의 성능이 깊이가 깊은 비순환 ResNet에 비해 어떻게 다를까?
• RQ4 경량의 순환 네트워크가 기존의 압축 감도 기반 방법보다 상당한 SNR 향상을 이룰 수 있으며, 同시에 100배 빠른 추론 속도를 유지할 수 있는가?

주요 결과

• 소아 MRI 복원에서, 단일 잔차 블록을 가진 순환 ResNet은 깊은 ResNet 기반 모델보다 2 dB SNR 향상을 달성했으며, 기존의 압축 감도 MRI에 비해 4 dB SNR 향상을 기록했고, 추론 속도는 100배 빨라졌다.
• 순환 아키텍처는 SNR와 추론 속도 측면에서 깊은 ResNet 및 기존의 CS-MRI 방법을 모두 뛰어넘었으며, 이는 전역 역문제에 대해 작은 반복 네트워크가 더 효과적임을 시사한다.
• CelebA 얼굴 초해상도 복원에서, 공유 또는 독립 가중치를 가진 순환 아키텍처는 깊은 ResNet에 비해 뚜렷한 이점이 없었으며, 이는 지역적 노이즈 제거 프록시멀에 대해 더 깊은 네트워크가 필요함을 시사한다.
• 단계별 생성자 출력은 계층적 추상화 과정을 보여주었다: 초기 단계는 노이즈가 포함된 저주파 구조를 복원하며, 후속 단계에서 점진적으로 선명도를 향상시키고 잡음을 감소시켰다.
• 기울기 클리핑을 통한 근사 역행렬 조절은 역전파 시 기울기 폭발과 NaN 값을 방지하여 훈련을 안정화시켰다.