[논문 리뷰] A Provably Convergent Scheme for Compressive Sensing under Random Generative Priors

Wen Huang, Paul Hand외 2명|arXiv (Cornell University)|2018. 12. 11.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 17

한 줄 요약

이 논문은 랜덤한 깊이 있는 생성 모델을 사용한 압축 센싱에서 증명 가능하게 수렴하는 경사하강법 알고리즘을 제안한다. 생성 모델에 대해 약한 조건—특히 가우시안 가중치를 가진 충분히 넓은 층—을 만족할 경우, 노이즈 수준 이내로 진짜 신호로의 수렴을 보장하며, 샘플 복잡도는 잠재 차원에 대해 선형적으로 증가한다. 이는 깊이 있는 생성 사전 조건 하에서 효율적인 복원을 위한 첫 번째 이론적 보장을 의미한다.

ABSTRACT

Deep generative modeling has led to new and state of the art approaches for enforcing structural priors in a variety of inverse problems. In contrast to priors given by sparsity, deep models can provide direct low-dimensional parameterizations of the manifold of images or signals belonging to a particular natural class, allowing for recovery algorithms to be posed in a low-dimensional space. This dimensionality may even be lower than the sparsity level of the same signals when viewed in a fixed basis. What is not known about these methods is whether there are computationally efficient algorithms whose sample complexity is optimal in the dimensionality of the representation given by the generative model. In this paper, we present such an algorithm and analysis. Under the assumption that the generative model is a neural network that is sufficiently expansive at each layer and has Gaussian weights, we provide a gradient descent scheme and prove that for noisy compressive measurements of a signal in the range of the model, the algorithm converges to that signal, up to the noise level. The scaling of the sample complexity with respect to the input dimensionality of the generative prior is linear, and thus can not be improved except for constants and factors of other variables. To the best of the authors' knowledge, this is the first recovery guarantee for compressive sensing under generative priors by a computationally efficient algorithm.

연구 동기 및 목표

• 깊이 있는 생성 사전 조건 하에서 압축 센싱의 이론적 격차를 메우기 위해 계산적으로 효율적인 알고리즘과 증명 가능한 복원 보장을 제공하는 것.
• 충분히 넓고 가우시안 가중치를 가진 랜덤한 생성 모델 하에서, 경험 위험 목적 함수에 대한 경사하강법이 진짜 신호로 수렴함을 입증하는 것.
• 샘플 복잡도가 생성 모델의 잠재 차원에 대해 선형으로 증가함을 보이며, 이는 상수 인자까지 최적임을 보여주는 것.
• 노이즈 수준에 따라 결정되는 이웃 영역으로 수렴함을 증명하며, 노이즈가 없는 경우 정확한 복원을 달성하는 것.

제안 방법

• 깊이 있는 생성 모델 하에서 압축 센싱의 경험 위험 목적 함수를 최소화하기 위한 경사하강법 알고리즘을 제안한다.
• 각 층이 충분히 넓고 i.i.d. 가우시안 가중치를 가진다는 가정 하에 최적화 경로의 구조를 분석한다.
• 측정 연산자 A가 생성된 신호 위에서의 행동을 제어하기 위해 제한된 무작위 등거리 조건(RRIC)을 사용한다.
• 진짜 잠재 코드 x* 주변에서 생성 모델 G의 국소 선형화를 가중치 행렬의 곱 W_{i,+,x}를 통해 수행한다.
• 집중 부등식과 변동 분석을 이용해 경험 위험 함수의 기울기 상한을 유도하여 기대 기울기로부터의 이탈을 제어한다.
• 노이즈를 고려한 분석을 도입하여, 반복값들이 전역 최소화점의 이웃 영역으로 수렴하며, 그 반경이 노이즈 수준에 비례함을 보여준다.

실험 결과

연구 질문

• RQ1 신호가 깊이 있는 생성 모델의 범위에 있을 경우, 계산적으로 효율적인 알고리즘이 압축 측정값으로부터 신호를 증명 가능하게 복원할 수 있는가?
• RQ2 이러한 복원의 최적 샘플 복잡도는 무엇이며, 기울기 기반 방법으로 이를 달성할 수 있는가?
• RQ3 랜덤한 생성 사전 조건 하에서, 비볼록 경험 위험 목적 함수에 대한 경사하강법이 잘못된 국소 최소값을 피할 수 있는가?
• RQ4 노이즈 수준은 복원 알고리즘의 수렴 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 경사하강법 알고리즘은 진짜 신호의 이웃 영역으로 수렴하며, 이 이웃 영역의 크기는 노이즈 수준으로 제한된다. 이는 노이즈에 강건한 복원을 보장한다.
• 노이즈가 없는 경우, 알고리즘은 정확히 전역 최소화점으로 수렴하여 정확한 복원을 달성한다.
• 샘플 복잡도는 생성 모델의 잠재 차원 d에 대해 선형으로 증가하며, 상수 인자까지 최적임을 보여주며, 로그 인자까지는 최적이다.
• 분석은 약한 가정 하에서도 성립한다: 생성 모델은 i.i.d. 가우시안 가중치를 가진 깊이 있는 ReLU 네트워크이며, 층의 넓이가 깊이에 따라 적절히 증가한다.
• 반복값이 유한한 노이즈와 충분한 측정 수에 대해 진짜 신호에 가까이 유지됨을 보여주는 새로운 기울기의 변동 분석을 통해 수렴 보장을 확립한다.
• 수치 실험은 이론적 주장에 부합하는 실증적 복원 결과를 확인하며, 노이즈 수준 이내로 복원됨을 검증한다.