[논문 리뷰] Sub-linear Time Support Recovery for Compressed Sensing using Sparse-Graph Codes

Li Xiao, Dong Yin외 3명|arXiv (Cornell University)|2014. 12. 24.

Sparse and Compressive Sensing Techniques참고 문헌 78인용 수 19

한 줄 요약

이 논문은 희박도 그래프 코드를 사용한 압축 측정 프레임워크를 제안하여 순차적 시간 복잡도와 순차적 측정 비용을 갖는 서브-선형 시간 지원 복원을 가능하게 한다. 용량에 가까운 코드에서 영감을 얻은 희박한 측정 행렬을 설계함으로써, 노이즈가 없는 경우 $O(K)$의 시간 복잡도와 노이즈가 있고 양자화된 설정에서는 $O(K\text{log}(N/K))$를 달성하며, 신호 차원 $N$ 에 대해 서브-선형 스케일링을 보이며, 거대한 희박 데이터셋에 대한 거의 실시간 처리를 가능하게 한다.

ABSTRACT

We study the support recovery problem for compressed sensing, where the goal is to reconstruct the a high-dimensional $K$-sparse signal $\mathbf{x}\in\mathbb{R}^N$, from low-dimensional linear measurements with and without noise. Our key contribution is a new compressed sensing framework through a new family of carefully designed sparse measurement matrices associated with minimal measurement costs and a low-complexity recovery algorithm. The measurement matrix in our framework is designed based on the well-crafted sparsification through capacity-approaching sparse-graph codes, where the sparse coefficients can be recovered efficiently in a few iterations by performing simple error decoding over the observations. We formally connect this general recovery problem with sparse-graph decoding in packet communication systems, and analyze our framework in terms of the measurement cost, time complexity and recovery performance. In the noiseless setting, our framework can recover any arbitrary $K$-sparse signal in $O(K)$ time using $2K$ measurements asymptotically with high probability. In the noisy setting, when the sparse coefficients take values in a finite and quantized alphabet, our framework can achieve the same goal in time $O(K\log(N/K))$ using $O(K\log(N/K))$ measurements obtained from measurement matrix with elements $\{-1,0,1\}$. When the sparsity $K$ is sub-linear in the signal dimension $K=O(N^δ)$ for some $0

연구 동기 및 목표

• 서브-선형 희박성 하에서 압축 측정에서 서브-선형 측정 비용과 서브-선형 계산 시간을 동시에 달성하는 데 도전하는 것.
• 신호 차원 $N$ 에 따라 효율적으로 스케일링되면서도 높은 복원 정확도를 유지하는 측정 행렬과 복원 알고리즘을 설계하는 것.
• 노이즈가 있고 양자화된, 연속값을 가진 희박 신호에 대해 측정 비용과 실행 시간에서 순서 최적의 성능를 달성하는 것.
• 연속적인 경우에 대해 $\varepsilon$-정확한 지원 복원과 $\varepsilon$-유계 $L^1$-노름 오차에 대한 이론적 보장을 제공하는 것.
• 이론적 분석과 시뮬레이션을 통해 확장성과 실시간 실행 가능성의 증명하는 것.

제안 방법

• 희박도 그래프 코드를 통해 구성된 희박한 측정 행렬을 사용하며, 특히 제어된 왼쪽 및 오른쪽 차수를 가진 이분 그래프 구조를 활용한다.
• 통신 시스템의 오류 복원에서 영감을 얻은 저복잡도의 반복 메시지 전달 알고리즘을 통해 복원을 수행함으로써 효율적인 지원 식별이 가능하다.
• 이중 단계 프로세스를 사용한다: 초기 지원 탐지에 대한 바이닝 및 검증 측정, 그 다음 LDPC와 같은 내부 코드를 사용한 계수 추정.
• 연속값 계수의 경우, 알고리즘은 양자화 버킷과 싱글톤 탐지 기법을 사용하여 비제로 항목을 고확률로 식별한다.
• 이론적 분석은 복원 문제를 희박도 그래프 복원과 연결하여, 코딩 이론에서 알려진 수렴 및 오류 확률 한계를 활용할 수 있도록 한다.
• 측정 행렬의 원소가 \{-1, 0, 1\} 에 속하도록 설계되어 하드웨어 복잡도를 최소화하고 효율적인 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 서브-선형 희박성 $K=O(N^\delta)$ 에서 $0<\delta<1$ 일 때, 압축 측정 프레임워크가 서브-선형 측정 비용과 서브-선형 실행 시간을 동시에 달성할 수 있는가?
• RQ2 노이즈가 있고 양자화된 압축 측정에서 측정 비용과 계산 복잡도의 순서 최적 스케일링을 달성할 수 있는가?
• RQ3 연속값 희박 신호에 대해 유계 계수를 가진 경우 강력한 $L^1$-노름 복원 보장을 제공할 수 있는가?
• RQ4 계수가 연속 분포에서 추출된 경우, 알고리즘이 지원 복원 정확도와 시간 복잡도 측면에서 어떻게 성능을 발휘하는가?
• RQ5 노이즈 있는 관측을 처리할 수 있도록 프레임워크를 확장할 수 있으며, 동시에 서브-선형 스케일링과 낮은 오류 확률을 유지할 수 있는가?

주요 결과

• 노이즈가 없는 설정에서는 $2K$ 측정을 사용하여 어떤 $K$-희박 신호도 오차 확률이 점점 감소하는 $O(K)$ 시간 내에 복원한다.
• 노이즈가 있고 양자화된 계수에 대해 $K=O(N^\delta)$ 일 때, $O(K\text{log}(N/K))$ 시간과 측정 비용을 달성하며, 이는 순서 최적이다.
• 유계 계수 크기를 가진 연속 알파벳 설정에서는 $O(K\text{log}(N/K)\text{log}\text{log}(N/K))$ 측정과 $O(K\text{log}^{1+r}(N/K))$ 실행 시간을 사용하여 임의로 큰 $(1-p)$-분율의 지원을 복원한다. 여기서 $r>0$ 은 임의로 작은 값이다.
• 크기가 $O(K^c)$ 이며 $c<1$ 인 유계 연속 계수의 경우, $\|\widehat{\mathbf{x}} - \mathbf{x}\|_1 \leq \kappa\|\mathbf{x}\|_1$ 를 보장하며, $\kappa$ 는 임의로 작게 설정할 수 있다.
• 충분한 측정이 이루어지면, 각 복원 계수에 대해 $\ell_\infty$ 노름에서 $O(\epsilon)$ 오차를 달성하며, $\epsilon$ 은 임의로 작다.
• 시뮬레이션은 측정 비용과 실행 시간에서 이론적 서브-선형 스케일링을 확인하였으며, 실행 시간은 $K$ 에 대해 선형이고 $N$ 에 대해 약한 의존성을 보였다.