[논문 리뷰] Invertible generative models for inverse problems: mitigating representation error and dataset bias

Muhammad Asim, Max Daniels외 3명|arXiv (Cornell University)|2019. 05. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 42

한 줄 요약

이 논문은 사전 학습된 가역 신경망(Glow 기반 프라이어)이 이미징 역문제에 대한 제로 표현 오류 프라이어로 작용하여, 노이즈 제거 및 압축 측정에서 GAN 기반 프라이어를 능가하고, 분포 밖(out-of-distribution) 데이터에 강건하며 데이터 세트 편향을 완화한다는 것을 보여준다.

ABSTRACT

Trained generative models have shown remarkable performance as priors for inverse problems in imaging -- for example, Generative Adversarial Network priors permit recovery of test images from 5-10x fewer measurements than sparsity priors. Unfortunately, these models may be unable to represent any particular image because of architectural choices, mode collapse, and bias in the training dataset. In this paper, we demonstrate that invertible neural networks, which have zero representation error by design, can be effective natural signal priors at inverse problems such as denoising, compressive sensing, and inpainting. Given a trained generative model, we study the empirical risk formulation of the desired inverse problem under a regularization that promotes high likelihood images, either directly by penalization or algorithmically by initialization. For compressive sensing, invertible priors can yield higher accuracy than sparsity priors across almost all undersampling ratios, and due to their lack of representation error, invertible priors can yield better reconstructions than GAN priors for images that have rare features of variation within the biased training set, including out-of-distribution natural images. We additionally compare performance for compressive sensing to unlearned methods, such as the deep decoder, and we establish theoretical bounds on expected recovery error in the case of a linear invertible model.

연구 동기 및 목표

• 가역 생성 모델이 이미징 역문제에 대해 자연스러운 프라이어로 작용할 수 있음을 입증한다.
• 노이즈 제거, 압축 측정, 인페인팅 전반에 걸친 가역 프라이어의 성능을 평가한다.
• 동일 분포 내외 설정에서 GAN 기반 프라이어 및 학습되지 않은 프라이어와 비교한다.
• 선형 가역 생성기에 대한 회복 오차의 이론적 한계를 제공한다.

제안 방법

• 역문제에 대한 신호 프라이어로 사전 학습된 Glow 가역 신경망을 사용한다.
• 잠재 공간 최적화로 재구성을 형식화하고 잠재 노름을 통한 가능도 프록시를 사용하며 z를 0에서 초기화한다.
• 데이터 적합도와 gamma 배의 ||z||^2를 더한 정규화된 잠재 목표를 사용하여 노이즈 제거를 해결한다.
• 무제약 잠재 목표로 압축 센싱을 해결한다(데이터 적합도 최소화; gamma은 0으로 설정); z0=0에서 초기화한다.
• DCGAN, PGGAN, Deep Decoder 프라이어 및 Lasso-DCT 베이스라인과 비교한다.
• 특이값에 따라 회복 오차에 대한 이론적 한계를 선형 가역 생성기에 대해 제공한다.

실험 결과

연구 질문

• RQ1 가역 프라이어가 역문제에서 제로 표현 오류를 제공하고 따라서 out-of-distribution 이미지를 포함한 모든 이미지를 복원할 수 있는가?
• RQ2 동일 분포 및 분포 외 데이터에서 노이즈 제거, 압축 센싱, 인페인팅에서 가역 프라이어의 성능은 GAN 기반 프라이어와 비교하여 어떠한가?
• RQ3 가우시안 측정으로 압축 센싱하에서 생성기가 선형일 때 회복 오차의 이론적 경계는 무엇인가?

주요 결과

• 가역 프라이어는 더 선명한 잡음 제거 이미지를 제공하며, 적절한 정규화에 따라 PSNR에서 BM3D를 능가할 수 있다.
• 동일 분포의 압축 센싱에서 Glow 프라이어는 저차원 GAN 프라이어, Deep Decoder, 희소성에 비해 우수하며 광범위한 언더샘플링 비율에서 우수한 성능을 보인다.
• Glow 프라이어는 분포 외 이미지에 대해 점진적으로 성능이 저하되며, 낮은 잠재 차원에서 많은 언더샘플링 구간에서 GAN보다 우수할 수 있다.
• 극단적인 언더샘플링에서도 Glow는 명시적인 저차원 매니폴드 제약 없이도 경쟁 프라이어를 상당히 능가한다.
• 이론적 한계에 따르면 기대 회수 오차는 최소 특이값들의 제곱합의 합과 그 합의 배수 사이에 놓이며, 충분한 측정 수가 있으면 가역 프라이어가 최적 회수에 근접할 수 있는 이유를 명확히 한다.