[논문 리뷰] Robust Decoding from 1-Bit Compressive Sampling with Least Squares

Jian Huang, Yuling Jiao외 2명|arXiv (Cornell University)|2017. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 노이즈 및 부호 전환이 발생하는 조건에서 1비트 압축 측정치로부터 강건한 신호 복원을 위한 최소 제곱법을 제안한다. 이는 일반 최소 제곱법(과잉 결정된 경우)과 ℓ₁-정규화된 최소 제곱법(부족 결정된, 희소인 경우)이 높은 확률로 진짜 신호를 스케일 인자만큼 복원할 수 있음을 보여주는 이론적 보장을 수립한다. 각각 𝒪̃(n/δ²) 및 𝒪(s log n / δ²)의 샘플 복잡도를 요구한다. 새로운 원본-이중 활성 집합(PDAS) 알고리즘은 활성 집합에서 작은 최소 제곱 문제를 풀어 한 번의 반복으로 수렴 가능하게 하여 높은 효율성과 강건성을 확보한다.

ABSTRACT

In 1-bit compressive sensing (1-bit CS) where target signal is coded into a binary measurement, one goal is to recover the signal from noisy and quantized samples. Mathematically, the 1-bit CS model reads: $y = η\odot extrm{sign} (Ψx^* + ε)$, where $x^{*}\in \mathcal{R}^{n}, y\in \mathcal{R}^{m}$, $Ψ\in \mathcal{R}^{m imes n}$, and $ε$ is the random error before quantization and $η\in \mathcal{R}^{n}$ is a random vector modeling the sign flips. Due to the presence of nonlinearity, noise and sign flips, it is quite challenging to decode from the 1-bit CS. In this paper, we consider least squares approach under the over-determined and under-determined settings. For $m>n$, we show that, up to a constant $c$, with high probability, the least squares solution $x_{ extrm{ls}}$ approximates $ x^*$ with precision $δ$ as long as $m \geq\widetilde{\mathcal{O}}(\frac{n}{δ^2})$. For $m< n$, we prove that, up to a constant $c$, with high probability, the $\ell_1$-regularized least-squares solution $x_{\ell_1}$ lies in the ball with center $x^*$ and radius $δ$ provided that $m \geq \mathcal{O}( \frac{s\log n}{δ^2})$ and $\|x^*\|_0 := s < m$. We introduce a Newton type method, the so-called primal and dual active set (PDAS) algorithm, to solve the nonsmooth optimization problem. The PDAS possesses the property of one-step convergence. It only requires to solve a small least squares problem on the active set. Therefore, the PDAS is extremely efficient for recovering sparse signals through continuation. We propose a novel regularization parameter selection rule which does not introduce any extra computational overhead. Extensive numerical experiments are presented to illustrate the robustness of our proposed model and the efficiency of our algorithm.

연구 동기 및 목표

• 노이즈, 부호 전환, 양자화 비선형성을 처리할 수 있는 1비트 압축 측정치를 위한 강건한 복호화 방법 개발
• 과잉 결정된(m > n) 및 부족 결정된(m < n) 설정에서 높은 확률로 이론적 복원 보장을 수립
• 1비트 CS에서 발생하는 비미분 가능 ℓ₁-정규화된 최소 제곱 문제를 다룰 수 있는 효율적인 최적화 알고리즘 설계
• 추가 계산 비용 없이도 적용 가능한 새로운 정규화 파rameter 선택 규칙 제안
• 광범위한 수치 실험을 통해 제안된 모델과 알고리즘의 강건성과 효율성 입증

제안 방법

• 과잉 결정된 경우(m > n)에는 일반 최소 제곱법(LS)을 사용하여 경험 리스크 ∑(yᵢ − ψᵢᵀx)²/m를 최소화한다.
• 부족 결정된, 희소인 경우(m < n, ‖x*‖₀ = s)에는 ℓ₁-정규화된 최소 제곱법을 적용하여 목적 함수 (1/m)‖Ψx − y‖₂² + λ‖x‖₁를 최소화한다.
• 원본-이중 활성 집합(PDAS) 알고리즘을 도입하여 각 단계에서 활성 집합에서 작은 최소 제곱 문제를 풀게 한다.
• 한 번의 반복으로 수렴하는 특성을 지닌 뉴턴 유형의 방법을 활용하여 계산 비용을 크게 감소시킨다.
• 이론적 경계에 기반한 새로운 정규화 파rameter 선택 규칙을 유도하여 추가 계산을 피한다.
• 확률적 농도 부등식과 난수 행렬 이론을 사용하여 Ψ와 ε이 서브가우시안 및 서브지수 조건을 만족할 때 샘플 복잡도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 일반 최소 제곱법이 조밀한 신호일지라도 노이즈 및 부호 전환 조건에서 1비트 측정치로부터 정확한 신호 복원을 달성할 수 있는가?
• RQ2 희소 신호를 1비트 측정치로부터 높은 확률로 복원하기 위해 필요한 샘플 크기는 얼마인가?
• RQ3 1비트 CS에서 발생하는 비미분 가능 ℓ₁-정규화된 최소 제곱 문제를 다룰 수 있는 빠르고 전역 수렴 성질을 지닌 알고리즘을 설계할 수 있는가?
• RQ4 추가 계산 비용 없이도 정규화 파rameter를 효율적으로 선택할 수 있는가?
• RQ5 δ, n, s, m에 따라 복원 오차에 대한 이론적 보장을 어떻게 수립할 수 있는가?

주요 결과

• 과잉 결정된 경우(m > n)에서는 최소 제곱 해 x_ls가 높은 확률로 진짜 신호 x*를 스케일 인자 c만큼 근사하며, 오차가 δ 이내가 되도록 보장되며, 이는 m ≥ 𝒪̃(n/δ²)일 때 성립한다.
• 부족 결정된, 희소인 경우(m < n, ‖x*‖₀ = s)에서는 ℓ₁-정규화된 최소 제곱 해 x_ℓ₁가 높은 확률로 x*를 중심으로 반지름 δ인 구역 내에 존재하며, 이는 m ≥ 𝒪(s log n / δ²)일 때 성립한다.
• PDAS 알고리즘은 활성 집합에서 작은 최소 제곱 문제를 풀어 한 번의 반복으로 수렴 가능하게 하여 희소 신호 복원에 매우 효율적이다.
• 제안된 정규화 파arameter 선택 규칙은 계산 비용이 매우 낮으며 최적화 문제를 풀이하는 데 추가 비용을 수반하지 않는다.
• 이론적 분석 결과, 적절한 조건 하에서 복원 오차가 O(√s / √m)로 감소하며, 공분산 행렬 Σ의 조건수에 명시적인 의존성이 존재한다.
• 수치 실험을 통해 다양한 노이즈 수준과 부호 전환 조건에서도 방법의 강건성을 확인하였으며, 기존의 1차 및 게이지 방법 대비 뛰어난 효율성을 입증하였다.