[논문 리뷰] Algorithmic Guarantees for Inverse Imaging with Untrained Network Priors

Gauri Jagatap, Chinmay Hegde|arXiv (Cornell University)|2019. 06. 20.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 51

한 줄 요약

이 논문은 학습되지 않은 딥 네트워크 사전(딥 디코더)을 사용하여 선형 및 비선형 역영상 문제를 해결하는 이론과 알고리즘을 제시하며, projected gradient descent 및 phase retrieval 설정에 대한 수렴 보장을 제공합니다.

ABSTRACT

Deep neural networks as image priors have been recently introduced for problems such as denoising, super-resolution and inpainting with promising performance gains over hand-crafted image priors such as sparsity and low-rank. Unlike learned generative priors they do not require any training over large datasets. However, few theoretical guarantees exist in the scope of using untrained neural network priors for inverse imaging problems. We explore new applications and theory for untrained neural network priors. Specifically, we consider the problem of solving linear inverse problems, such as compressive sensing, as well as non-linear problems, such as compressive phase retrieval. We model images to lie in the range of an untrained deep generative network with a fixed seed. We further present a projected gradient descent scheme that can be used for both compressive sensing and phase retrieval and provide rigorous theoretical guarantees for its convergence. We also show both theoretically as well as empirically that with deep network priors, one can achieve better compression rates for the same image quality compared to hand crafted priors.

연구 동기 및 목표

• 역상 이미징 작업에서 학습되지 않은 딥 뉴럴 네트워크를 이미지 사전으로 사용하는 것을 동기 부여한다.
• 학습되지 않은 네트워크의 레인지 공간에 대한 이론적 프레임워크(REC 변형)를 개발하여 고유 복원을 보장한다.
• CS 및 phase retrieval에서 학습되지 않은 사전을 사용할 때 수렴하는 projected gradient descent 방법을 제안하고 분석한다.
• 학습되지 않은 사전 접근법을 압축적 phase retrieval로 확장하고 수렴 보장을 제공한다.
• 수작업으로 만든 사전과 비교하고 재구성 품질에서 실험적 향상을 보여준다.

제안 방법

• 이미지를 고정 시드 z를 갖는 학습되지 않은 딥 네트워크 G(w;z)의 레인지에 놓인다고 모델링한다.
• 회복을 보장하기 위해 측정 행렬 A에 대해 집합 (S,γ,β)-REC를 정의한다.
• Net-PGD를 개발한다: 중간 x에 맞추기 위해 w를 최적화하여 범위 S에 대한 프로젝션을 제공하는 projected gradient descent 알고리즘.
• 가우시안 A에 대해 (S,1−α,1+α)-REC 하에서 Net-PGD의 수렴 보장을 높은 확률로 증명한다.
• 위 두 단계 Net-PGD를 통해 압축적 phase retrieval로 확장하며 위상 추정 및 프로젝션 단계를 포함한다.
• 의의 있는 상한을 보장하고 노이즈 피팅을 피하기 위해 언더-파라미터화된 디코더(Deep Decoder)에 기초한 네트워크 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 학습되지 않은 신경망 사전이 가우시안 측정치를 갖는 선형 압축센싱에서 고유하고 안정적인 복원을 제공할 수 있는가?
• RQ2 이미지 사전이 학습되지 않은 딥 네트워크일 때 projected gradient descent 스킴은 수렴하는가?
• RQ3 학습되지 않은 사전이 수렴 보장을 갖고 압축적 phase retrieval에 효과적으로 사용될 수 있는가?
• RQ4 REC 프레임워크 하에서 샘플 복잡도는 네트워크 매개변수에 어떻게 의존하는가?
• RQ5 CS 및 CPR에서 학습되지 않은 사전이 수작업으로 만든 사전에 비해 더 우수한 재구성 품질을 제공하는가?

주요 결과

• 학습되지 않은 네트워크 사전의 레인지에 대한 새로운 변형의 Restricted Eigenvalue Condition(REC)이 확립되어 회복 보장을 가능하게 한다.
• 가우시안 측정치를 갖는 선형 압축센싱에서 (S,1−α,1+α)-REC 하의 Net-PGD가 실제 이미지로 선형 수렴한다.
• 적절한 초기화 및 REC 가정하에 Net-PGD가 압축적 phase retrieval로 확장되어 수렴 보장을 제공한다.
• 실험 결과 Net-GD와 Net-PGD가 MNIST 및 CelebA 데이터셋의 재구성 품질에서 기존 방법 및 다른 사전보다 우수함을 보여준다.
• 프레임워크는 의미 있는 상한을 보장하고 노이즈 피팅을 방지하기 위해 언더-파라미터화된 딥 사전(Deep Decoder)을 강조한다.