[논문 리뷰] Exact asymptotics for phase retrieval and compressed sensing with random generative priors

Benjamin Aubin, Bruno Loureiro외 3명|arXiv (Cornell University)|2019. 12. 04.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 12

한 줄 요약

이 논문은 무작위로 설정된 가중치와 임의의 활성화 함수를 가진 완전 연결형 깊이 신경망을 사용한 압축 감지 및 위상 복원 문제에 대해 정확한 渐近 성능 한계를 유도한다. 스파arsity는 큰 통계적-알고리즘 갭을 초래하지만, 깊이 신경망 생성 전제 조건은 이러한 갭을 크게 감소시켜 정보 이론적 한계 근처에서도 압축 위상 복원을 실현 가능하게 한다.

ABSTRACT

We consider the problem of compressed sensing and of (real-valued) phase retrieval with random measurement matrix. We derive sharp asymptotics for the information-theoretically optimal performance and for the best known polynomial algorithm for an ensemble of generative priors consisting of fully connected deep neural networks with random weight matrices and arbitrary activations. We compare the performance to sparse separable priors and conclude that generative priors might be advantageous in terms of algorithmic performance. In particular, while sparsity does not allow to perform compressive phase retrieval efficiently close to its information-theoretic limit, it is found that under the random generative prior compressed phase retrieval becomes tractable.

연구 동기 및 목표

• 고차원 영역에서 무작위로 설정된 깊이 생성 전제 조건을 사용한 압축 감지 및 위상 복원의 정보 이론적 성능 한계와 알고리즘 성능 한계를 분석하는 것.
• 생성 전제 조건(무작위 가중치를 가진 깊이 신경망)과 스파arsity 전제 조건 간의 통계적-알고리즘 갭을 역문제에서 비교하는 것.
• 무작위 측정 행렬 하에서 완전한 신호 복원과 효율적인 알고리즘 복원을 위한 날카운 감마 한계를 도출하는 것.
• 네트워크 깊이와 계층별 압축 비율이 이러한 역문제에서 신호 복원의 실현 가능성에 미치는 영향을 조사하는 것.

제안 방법

• 독립 동일 분포 정규 분포 가중치와 임의의 활성화 함수를 가진 완전 연결형 깊이 신경망의 앙상블을 생성 전제 조건으로 사용한다.
• 측정 비율 $ \alpha = n/d $ 와 계층별 비율 $ \beta_l = k_{l+1}/k_l $ 를 일정하게 유지하면서 $ n, d, k_l \to \infty $ 의 고차원 극한을 분석한다.
• 통계물리의 도구, 특히 복제 방법을 적용하여 정보 이론적 한계 $ \alpha_{\text{IT}} $ 와 알고리즘 한계 $ \alpha_{\text{alg}} $ 의 정확한 渐近적 성능을 계산한다.
• 두 가지 역문제를 고려한다: 압축 감지 ($ \varphi(x) = x $) 와 위상 복원 ($ \varphi(x) = |x| $), 모두 일반화 선형 추정으로 설정된다.
• 압축 인자 $ \rho = k/d $, 깊이 $ L $, 압축 비율 $ \beta_l $ 간의 상호작용을 보여주는 단계도를 유도한다. $ \mathbf{z} \sim \mathcal{N}(0, I_k) $ 과 ReLU/선형 활성화 함수를 사용한다.
• 수치적 및 분석적 渐近적 분석을 통해 깊이와 압축에 따라 변화하는 통계적-알고리즘 갭 $ \Delta_{\text{alg}} = \alpha_{\text{alg}} - \alpha_{\text{IT}} $ 를 정량화한다.

실험 결과

연구 질문

• RQ1 무작위로 설정된 깊이 생성 전제 조건에서, 압축 인자 $ \rho $ 와 계층별 압축 $ \beta_l $ 가 깊이 생성 전제 조건의 신호 복원 정보 이론적 한계 $ \alpha_{\text{IT}} $ 에 어떻게 영향을 미치는가?
• RQ2 무작위로 설정된 깊이 생성 전제 조건을 사용한 압축 감지 및 위상 복원에서 통계적-알고리즘 갭 $ \Delta_{\text{alg}} $ 의 크기는 얼마인가?
• RQ3 네트워크 깊이 $ L $ 을 증가시킬 경우, 스파arsity 전제 조건에 비해 알고리즘 갭은 어떻게 영향을 받는가?
• RQ4 생성 전제 조건 모델은 정보 이론적 한계 근처에서 효율적인 복원을 가능하게 하는가, 특히 스파arsity가 실패하는 위상 복원 문제에서 그러한가?
• RQ5 활성화 함수의 선택(ReLU 대비 선형)이 성능 한계와 갭 행동에 어떻게 영향을 미치는가?

주요 결과

• 무작위 가중치를 가진 깊이 생성 전제 조건에서 정보 이론적 한계 $ \alpha_{\text{IT}} $ 는 $ \beta_l \ll 1 $ 이 감소할수록 감소하며, 이는 더 높은 압축이 복원 가능성 향상에 기여함을 시사한다.
• 알고리즘 갭 $ \Delta_{\text{alg}} $ 는 $ \beta_l $ 가 감소함에 따라 증가하지만, 이 갭은 스파arsity 전제 조건에 비해 상당히 작으며, 특히 $ \rho $ 가 낮을 경우 두드러진다.
• 네트워크 깊이 $ L $ 을 증가시킬수록 알고리즘 갭 $ \Delta_{\text{alg}} $ 는 단조 감소하며, 고정된 $ \beta = 2 $ 에서조차 깊이 증가에 따라 갭이 감소한다.
• 스파arsity 전제 조건이 위상 복원에서 큰 알고리즘 갭을 보이는 것과는 달리, 깊이 생성 전제 조건은 정보 이론적 한계 근처에서도 압축 위상 복원을 실현 가능하게 한다.
• $ \rho < 0.5 $ 인 경우 $ \alpha_{\text{IT}} $ 는 $ \beta_l \ll 1 $ 이 감소함에 따라 감소하지만, 알고리즘 갭은 증가하여 압축과 알고리즘 효율성 간의 상충 관계를 보여준다.
• 결과는 임의의 활성화 함수와 i.i.d. 정규 분포 가중치 행렬에 대해 유효하며, 수치 단계도에서 구체적인 예시로 ReLU 및 선형 활성화 함수를 사용한다.