[논문 리뷰] Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors

Zhaoqiang Liu, Selwyn Gomes외 2명|arXiv (Cornell University)|2020. 02. 05.

Sparse and Compressive Sensing Techniques인용 수 11

한 줄 요약

이 논문은 립시츠 연속성 보장을 갖는 생성 모델을 사전으로 사용하여 1비트 압축 측정 기반 신호 복원의 표본 복잡도 한계를 설정한다. 이는 $ O(k \log L) $개의 가우시안 측정치가 립시츠 연속 생성 모델에서 유한한 신호를 근사적으로 복원하는 데 충분하며, 이에 대응하는 정보 이론적 하한값도 존재함을 보여준다. 또한 이러한 조건 하에서 이진 $\epsilon$-안정 임bedding 성질이 성립함을 증명하여, 노이즈가 존재하는 상황에서도 신뢰할 수 있는 복원이 가능함을 보장한다.

ABSTRACT

The goal of standard 1-bit compressive sensing is to accurately recover an unknown sparse vector from binary-valued measurements, each indicating the sign of a linear function of the vector. Motivated by recent advances in compressive sensing with generative models, where a generative modeling assumption replaces the usual sparsity assumption, we study the problem of 1-bit compressive sensing with generative models. We first consider noiseless 1-bit measurements, and provide sample complexity bounds for approximate recovery under i.i.d.~Gaussian measurements and a Lipschitz continuous generative prior, as well as a near-matching algorithm-independent lower bound. Moreover, we demonstrate that the Binary $\\epsilon$-Stable Embedding property, which characterizes the robustness of the reconstruction to measurement errors and noise, also holds for 1-bit compressive sensing with Lipschitz continuous generative models with sufficiently many Gaussian measurements. In addition, we apply our results to neural network generative models, and provide a proof-of-concept numerical experiment demonstrating significant improvements over sparsity-based approaches.

연구 동기 및 목표

• 스pars티 가정을 생성 모델 사전으로 대체하여 1비트 압축 측정 기반 복원과 생성 모델링 간의 다리를 놓는 것.
• 생성 모델링 하에서 1비트 압축 측정 기반 근사 신호 복원의 엄밀한 표본 복잡도 한계를 설정하는 것.
• 립시츠 연속 생성 모델 기반 1비트 CS에서 이진 $\epsilon$-안정 임bedding 성질이 성립함을 증명하여, 사전 측정 노이즈에 대한 강건성을 확보하는 것.
• 생성 사전이 스파arsity 기반 접근법보다 1비트 CS에서 이론적으로 유리한 점을 보여주며, 특히 필요한 측정 수를 줄이는 데 기여함을 입증하는 것.
• 저밀도 정밀도, 고처리량 신호 측정 시스템에서 딥 생성 모델을 사용하는 데 이론적 기반을 제공하는 것.

제안 방법

• 생성 모델이 립시츠 연속성을 갖는 신호를 생성하는 방식으로, 독립 동일분포 가우시안 측정 행렬을 사용하여 이진 부호 측정치를 추출한다.
• 정보 이론적 분석을 적용하여 표본 복잡도의 상한과 하한을 유도하며, $ m = \Omega(k \log(n/k)) $ 가 $ \epsilon $-정확한 복원에 필수적이고 충분함을 보여준다.
• 단위 구면 상에서 패킹 수를 활용하여 하한을 설정하고, 구조적 신호 집합에서 해밍 거리에 대해 지르비츠-바르샤모프 하한을 적용한다.
• 충분한 수의 독립 동일분포 가우시안 측정치 하에서 1비트 CS에 대한 이진 $\epsilon$-안정 임bedding 성질이 성립함을 증명하여 사전 측정 노이즈에 대한 강건성을 보장한다.
• 생성 모델의 립시츠 상수 $ L $을 분석하여 표본 복잡도와 모델 용량 간의 관계를 규명하며, 반경 $ r $에 대해 $ m = \Omega(k \log(Lr)) $ 를 도출한다.
• 신경망 기반 생성 모델을 사용한 개념 증명 수치 실험을 통해 이론적 결과를 검증하며, 스파arsity 기반 방법 대비 뚜렷한 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 신호가 립시츠 연속 생성 모델의 범위 근처에 위치할 경우, 근사적인 복원을 위해 필요한 최소 1비트 측정 수는 얼마인가?
• RQ2 생성 사전을 사용하는 1비트 압축 측정 기반 복원에서 이진 $\epsilon$-안정 임bedding 성질이 성립하는가? 이는 측정 노이즈에 대한 강건성을 보장하는가?
• RQ3 신호 차원과 모델 복잡도에 대한 의존성 측면에서, 생성 모델 기반 1비트 CS의 표본 복잡도는 스파arsity 기반 1비트 CS와 비교해 어떻게 되는가?
• RQ4 압축 측정 기반에서 생성 사전의 이론적 이점이 1비트 양자화 영역으로 확장될 수 있는가? 그 기초적인 한계는 무엇인가?
• RQ5 생성 모델 기반 1비트 CS의 표본 복잡도에 대한 정보 이론적 하한은 무엇이며, 이는 복원 알고리즘에서 유도된 상한과 어떻게 비교되는가?

주요 결과

• 립시츠 상수가 $ L $인 생성 모델 기반 1비트 압축 측정 기반 복원의 표본 복잡도는 $ O(k \log L) $ 이며, 여기서 $ k $는 잠재 차원이고 $ L $은 립시츠 상수이다.
• 상한과 일치하는 정보 이론적 하한 $ \Omega(k \log(n/k)) $ 이 확립되어 상한이 로그 인자 외에는 날카로운 것으로 밝혀졌다.
• 충분한 수의 독립 동일분포 가우시안 측정치 하에서, 생성 모델 기반 1비트 CS에서 이진 $\epsilon$-안정 임bedding 성질이 성립함을 보여, 사전 측정 노이즈에 대한 강건성을 확보한다.
• 신경망 기반 생성 모델의 경우, 이론적 프레임워크가 스파arsity 기반 방법 대비 요구 측정 수를 크게 줄일 수 있음을 개념 증명 실험을 통해 입증하였다.
• 립시츠 상수 $ L $과 잠재 공간 반경 $ r $ 간의 관계를 통해 표본 복잡도 한계 $ m = \Omega(k \log(Lr)) $ 를 유도하였으며, 이는 모델 용량에 대한 의존성을 보여준다.
• 분석 결과, 신호 에너지가 $ (k-1)x_{\max}^2 = 3x_c^2 $ 를 만족할 경우, 하한 $ \Omega(k \log(n/k)) $ 는 $ \Omega(k \log(Lr)) $ 와 동치임을 보여, 모델 파라미터와 측정 요구사항 간의 연결 고리를 확립하였다.