[논문 리뷰] Invertible generative models for inverse problems: mitigating representation error and dataset bias

Muhammad Asim, Max Daniels외 3명|arXiv (Cornell University)|2019. 05. 28.

Generative Adversarial Networks and Image Synthesis인용 수 74

한 줄 요약

이 논문은 가역 신경망이 영상 역문제에 대한 사전으로 작용할 수 있으며, 표현 오류와 데이터셋 편향을 완화하고, 여러 작업에서 GAN 사전보다 우수하며, 선형 가역 생성기에 대한 이론적 복구 한계를 제공한다는 것을 보여준다.

ABSTRACT

Trained generative models have shown remarkable performance as priors for inverse problems in imaging -- for example, Generative Adversarial Network priors permit recovery of test images from 5-10x fewer measurements than sparsity priors. Unfortunately, these models may be unable to represent any particular image because of architectural choices, mode collapse, and bias in the training dataset. In this paper, we demonstrate that invertible neural networks, which have zero representation error by design, can be effective natural signal priors at inverse problems such as denoising, compressive sensing, and inpainting. Given a trained generative model, we study the empirical risk formulation of the desired inverse problem under a regularization that promotes high likelihood images, either directly by penalization or algorithmically by initialization. For compressive sensing, invertible priors can yield higher accuracy than sparsity priors across almost all undersampling ratios, and due to their lack of representation error, invertible priors can yield better reconstructions than GAN priors for images that have rare features of variation within the biased training set, including out-of-distribution natural images. We additionally compare performance for compressive sensing to unlearned methods, such as the deep decoder, and we establish theoretical bounds on expected recovery error in the case of a linear invertible model.

연구 동기 및 목표

• 영상 역문제에 대해 제로 표현 오류(prior)로서의 가역 생성 모델의 도입 동기를 제시한다.
• GAN 및 학습되지 않은 사전에 비해 가역 사전의 노이즈 제거, 압축 센싱, 및 인페인팅 성능을 평가한다.
• 제로 표현 오류로 인해 데이터 편향을 완화하고 out-of-distribution 이미지에 대한 강인성을 보여준다.
• 압축 센싱에서 선형 가역 생성기의 복구 오차에 대한 이론적 한계를 제공한다.

제안 방법

• x = G(z)이고 z = G^{-1}(x)인 Glow 기반의 사전 학습 가능한 가역 생성기 G: R^n -> R^n를 사용한다.
• 잠재 공간 최적화으로 역문제를 형식화한다: (1) 잠재 코드 ||z||^2와 데이터 적합성에 대한 규제를 통해 노이즈 제거, (2) 데이터 적합성만을 사용하는 압축 센싱(감마 = 0), z0 = 0에서 시작.
• (2)를 Glow의 L-BFGS로 해결하고, Deep Decoder, DCGAN, PGGAN에는 Adam을 사용한다; BM3D 및 희소성 기반 사전과 비교한다.
• CelebA에서 Glow를 훈련하고 모든 역문제에 대해 사전을 고정; in-distribution 및 out-of-distribution 데이터셋(CelebA-HQ vs FFHQ)과 비교한다.
• 선형 가역 생성기 경우에 대한 이론적 분석을 제공한다: G의 특이값에 따라 기대 복구 오차의 경계를 제시한다.

실험 결과

연구 질문

• RQ1 가역 사전이 노이즈 제거, 압축 센싱, 인페인팅에서 GAN 사전 및 학습되지 않은 사전보다 더 높은 품질의 재구성을 달성할 수 있는가?
• RQ2 제로 표현 오류로 인해 데이터 편향을 완화하고 out-of-distribution 이미지에서 효과를 유지하는가?
• RQ3 압축 센싱 하에서 선형 가역 생성 모델에 대한 이론적 복구 보장은 무엇인가?

주요 결과

• 가역 사전은 적절하게 규제될 때 BM3D보다 PSNR이 더 높은 더 선명한 노이즈 제거를 달성할 수 있다.
• 인디스트리뷰션 이미지에 대한 압축 센싱에서 Glow 사전은 GAN 사전(DCGAN/PGGAN) 및 Deep Decoder를 광범위한 언더샘플링 비율에서 능가한다.
• Glow 사전은 out-of-distribution 이미지에서도 우수한 성능 저하를 보이며 잠재 차원이 낮아도 GAN을 능가하는 경우가 있으며, 측정값이 충분하면 Deep Decoder를 능가하는 경우도 있다.
• 선형 가역 생성기에 대한 이론적 경계가 제시된다: m개의 측정에 대해 기대 제곱 복구 오차는 가우스 직교 기저의 상위 특이값이 아닌 경우의 제곱합의 합과 다음 특이값들의 제곱합의 합 사이에 있다.
• CelebA에서 훈련된 PGGAN 등 데이터셋 편향 GAN과 비교했을 때 Glow는 편향을 완화하고 학습 데이터에 충분하지 않은 특징을 복원할 수 있다.