[논문 리뷰] Lower Bounds for Compressed Sensing with Generative Models

Akshay Kamath, Sushrut Karmalkar외 1명|arXiv (Cornell University)|2019. 12. 06.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 9

한 줄 요약

이 논문은 생성 모델을 사용한 압축 측정에 대해 날카러운 하한을 확립하여, $L$-립시츠 생성 모델에 대해 $\Omega(k\log L)$ 측정이 필요하다고 증명하며, 이는 이전의 상한과 일치한다. 또한, 모든 $k$-희소 벡터를 표현할 수 있는 2층의 ReLU 기반 신경망을 구축하여, 생성 모델이 희소성의 일반화를 가능하게 하고 $O(k\log n)$ 측정으로 효율적인 복원을 가능하게 함을 보여준다.

ABSTRACT

The goal of compressed sensing is to learn a structured signal $x$ from a limited number of noisy linear measurements $y \approx Ax$. In traditional compressed sensing, "structure" is represented by sparsity in some known basis. Inspired by the success of deep learning in modeling images, recent work starting with~\cite{BJPD17} has instead considered structure to come from a generative model $G: \mathbb{R}^k o \mathbb{R}^n$. We present two results establishing the difficulty of this latter task, showing that existing bounds are tight. First, we provide a lower bound matching the~\cite{BJPD17} upper bound for compressed sensing from $L$-Lipschitz generative models $G$. In particular, there exists such a function that requires roughly $Ω(k \log L)$ linear measurements for sparse recovery to be possible. This holds even for the more relaxed goal of \emph{nonuniform} recovery. Second, we show that generative models generalize sparsity as a representation of structure. In particular, we construct a ReLU-based neural network $G: \mathbb{R}^{2k} o \mathbb{R}^n$ with $O(1)$ layers and $O(kn)$ activations per layer, such that the range of $G$ contains all $k$-sparse vectors.

연구 동기 및 목표

• 생성 모델 $G:\mathbb{R}^k \to \mathbb{R}^n$ 가 $L$-립시츠일 때, 압축 측정의 정보 이론적 하한을 확립하는 것.
• 생성 모델을 사용한 복원에 대한 기존 상한이 타당한지, 특히 추가 오차 $\delta$ 가 존재할 경우에 대해 확인하는 것.
• 생성 모델이 신호 구조의 표현으로서 희소성의 개념을 일반화할 수 있는지 조사하는 것.
• 최소 깊이와 너비를 사용하여 모든 $k$-희소 벡터를 표현할 수 있는 신경망 아키텍처를 구축하는 것.

제안 방법

• 통신 복잡도 분석을 통해 하한을 증명하여, $G$의 범위에 가장 가까운 점으로부터 $\ell_2$ 복원 오차가 $\delta$ 이내인 임의의 알고리즘이 $\Omega(k\log(Lr/\delta))$ 측정을 필요로 함을 보임.
• 모든 $\mathbb{R}^n$ 내의 $k$-희소 벡터를 포함하는 범위를 가지는 2층 ReLU 신경망 $G_{\text{sp}}:\mathbb{R}^{2k} \to \mathbb{R}^n$ 를 구축하며, 각 층에 $O(kn)$ 개의 활성화를 가짐.
• 삼각함수 항등식과 ReLU 활성화 특성을 활용하여 각각 각도 영역의 폭이 $\alpha = \pi/(n+1)$ 인 신경망 하위망 $G^+_i$ 와 $G^-_i$ 를 설계하여 정밀한 벡터 복원을 가능하게 함.
• 각 $k$-희소 벡터가 $k$ 개의 1-희소 벡터의 합으로 표현될 수 있으며, 각 1-희소 벡터는 구축된 네트워크 $G_{\text{sp}}$ 의 복제본에 의해 생성됨을 보임.
• BJPD17에서 제시한 $O(kd\log W)$ 측정 하한을 구축된 네트워크에 적용하여, $\ell_2/\ell_2$ 희소 복원에 대해 $O(k\log n)$ 측정으로 충분함을 보임.

실험 결과

연구 질문

• RQ1 BJPD17에서 제시한 $O(k\log(Lr/\delta))$ 측정 하한이 생성 모델 기반 압축 측정에서 타당한가?
• RQ2 ReLU 기반 생성 모델을 사용할 경우, 복원 보장에서 추가 오차 $\delta$ 를 피할 수 있는가?
• RQ3 상수 깊이와 다항식 너비를 가진 생성 모델이 모든 $k$-희소 벡터를 표현할 수 있는가?
• RQ4 생성 모델 프레임워크는 압축 측정에서 희소성 가정을 엄밀히 일반화하는가?

주요 결과

• 논문은 $L$-립시츠 생성 모델 $G$ 의 범위에 가장 가까운 점으로부터 $\ell_2$ 복원 오차가 $\delta$ 이내인 임의의 알고리즘에 대해 $\Omega(\min(k\log(Lr/\delta), n))$ 측정이 필요하다는 하한을 확립하며, 이는 BJPD17에서 제시한 상한과 일치한다.
• 추가 오차 $\delta$ 는 일반적인 $L$-립시츠 생성 모델에 대해 필수적이며, 하한 구축을 통해 비균일 복원 설정에서도 마찬가지로 필요함을 보였다.
• 2층의 ReLU 기반 신경망이며, 각 층에 $O(kn)$ 너비를 가지는 네트워크가 모든 $\mathbb{R}^n$ 내의 $k$-희소 벡터를 표현할 수 있으며, 이는 생성 모델이 희소성을 일반화함을 보여준다.
• BJPD17에서 제시한 $O(kd\log W)$ 측정 하한을 구축된 희소성 생성 네트워크에 적용하여, $O(k\log n)$ 측정으로 충분한 복원 기법을 도출하였으며, 이는 고전적 희소 복원 하한과 일치한다.
• 하한은 동시 작업 [LS19] 에서 사용된 기법보다 간단한 통신 복잡도 분석을 통해 증명되었으며, 임의의 $\delta > 0$ 인 일반 케이스에 적용 가능하다.