[논문 리뷰] L2/L2-foreach sparse recovery with low risk

Anna C. Gilbert, Hung Q. Ngo외 3명|arXiv (Cornell University)|2013. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 24

한 줄 요약

이 논문은 낮은 실패 확률을 갖는 ℓ₂/ℓ₂-foreach 희소 복구를 위한 새로운 프레임워크를 제안하며, 거의 최적의 측정 복잡도와 부분선형 해독 시간을 달성한다. Loomis-Whitney 부등식에서 유도된 Reed-Solomon 코드를 포함한 리스트 복원 가능 코드와 재귀적 희소 복구를 조합함으로써, 날카운한 하한을 확립하고 최초로 로그적 오버헤드를 갖는 부분선형 시간 ℓ₁/ℓ₁ 복구 시스템을 제공한다.

ABSTRACT

In this paper, we consider the "foreach" sparse recovery problem with failure probability $p$. The goal of which is to design a distribution over $m imes N$ matrices $Φ$ and a decoding algorithm $\algo$ such that for every $\vx\in\R^N$, we have the following error guarantee with probability at least $1-p$ \[\|\vx-\algo(Φ\vx)\|_2\le C\|\vx-\vx_k\|_2,\] where $C$ is a constant (ideally arbitrarily close to 1) and $\vx_k$ is the best $k$-sparse approximation of $\vx$. Much of the sparse recovery or compressive sensing literature has focused on the case of either $p = 0$ or $p = Ω(1)$. We initiate the study of this problem for the entire range of failure probability. Our two main results are as follows: \begin{enumerate} \item We prove a lower bound on $m$, the number measurements, of $Ω(k\log(n/k)+\log(1/p))$ for $2^{-Θ(N)}\le p <1$. Cohen, Dahmen, and DeVore \cite{CDD2007:NearOptimall2l2} prove that this bound is tight. \item We prove nearly matching upper bounds for extit{sub-linear} time decoding. Previous such results addressed only $p = Ω(1)$. \end{enumerate} Our results and techniques lead to the following corollaries: (i) the first ever sub-linear time decoding $\lolo$ "forall" sparse recovery system that requires a $\log^γ{N}$ extra factor (for some $γ<1$) over the optimal $O(k\log(N/k))$ number of measurements, and (ii) extensions of Gilbert et al. \cite{GHRSW12:SimpleSignals} results for information-theoretically bounded adversaries.

연구 동기 및 목표

• p=0 (forall)와 p=Ω(1) (foreach)의 극단적 경우 사이의 중간 실패 확률에 대한 희소 복구 갭을 메우기 위해.
• 낮은 실패 확률 p를 갖는 희소 복구 시스템을 설계하여 부분선형 해독 시간과 거의 최적의 측정 수를 유지하기 위해.
• 정보이론적 한계가 존재하는 공격자에 대한 이전 결과를 확장하고, 최적 측정 수에 대해 로그적 오버헤드를 갖는 최초의 부분선형 시간 ℓ₁/ℓ₁ 복구 시스템을 제공하기 위해.
• 모든 실패 확률 범위에 대해 유효한 ℓ₂/ℓ₂-foreach 복구에 대한 새로운 하한을 확립하기 위해, 특히 p=0를 포함하여.
• 기존의 통신 복잡도 기반 방법보다 더 단순하고 직관적인 새로운 하한 증명 기법을 개발하기 위해.

제안 방법

• Loomis-Whitney 부등식에서 유도된 매개수를 갖는 리스트 복원 가능 코드, 특히 Reed-Solomon 코드를 사용하여 약한 식별 행렬의 재귀적 구성 방식을 제안한다.
• Porat와 Strauss의 재귀적 희소 복구 프레임워크와 효율적으로 디코딩 가능한 리스트 복원 가능 코드를 새로운 조합으로 결합하며, 이는 전통적 부호 이론이 아닌 희소 복구를 위해 특화된 것이다.
• 각 수준에서 리스트 복원 가능 성질을 갖는 부호를 사용하여 무거운 헤비히어를 식별하는 재귀적 식별 과정을 적용하여 오염에 대한 강건성을 확보한다.
• 에러 전파 및 실패 확률를 분석하기 위해 카운팅 추론 기법을 적용하여 각 재귀 수준에서 오염된 헤비히어의 수를 제한한다.
• Cohen, Dahmen, 그리고 DeVore의 기하학적 하한 기법을 기반으로 하되, 실패 확률 p의 전체 범위를 다룰 수 있도록 수정한 기법을 활용한다.
• 측정 수와 해독 시간 사이의 최적 트레이드오프를 확보하기 위해 ρ = 1/4 및 b = O(2^{1/ε})를 사용하여 코드 매개수를 조정한다.

실험 결과

연구 질문

• RQ1 모든 실패 확률 범위, 특히 중간 값까지 포함하여 ℓ₂/ℓ₂-foreach 희소 복구의 최적 측정 복잡도는 무엇인가?
• RQ2 최적 측정 수 O(k log(N/k))에 대해 로그^γ N 오버헤드만을 갖는 부분선형 시간 해독이 ℓ₁/ℓ₁ 희소 복구에서 달성 가능한가?
• RQ3 실패 확률 p를 근본적으로 낮추면서도 거의 최적의 측정 수와 효율적인 해독을 유지할 수 있는가?
• RQ4 모든 p ∈ [2^{-Θ(N)}, 1) 범위에서 균일하게 성립하는 ℓ₂/ℓ₂-foreach 복구에 대한 측정 수의 가장 날카운 하한은 무엇인가?
• RQ5 기존의 통신 복잡도 기반 증명보다 더 단순하고 일반적인 새로운 하한 증명 기법을 희소 복구에 대해 개발할 수 있는가?

주요 결과

• 논문은 ℓ₂/ℓ₂-foreach 희소 복구에 대해 실패 확률의 전체 범위에서 측정 수에 대해 Ω(k log(N/k) + log(1/p))의 하한을 확립하며, 이는 모든 실패 확률 범위에서 날카로운 하한임을 보여준다.
• 이러한 구성은 최적 측정 수에 근접하는 O(k log(N/k) · log^γ N) 측정 수를 갖는 최초의 부분선형 시간 ℓ₁/ℓ₁ 희소 복구 시스템을 제시한다. 여기서 γ < 1이다.
• 제안된 구성은 실패 확률 p′(N) ≤ (N/k)^{-Ω(ζk / 𝒩^{O(log(1/ρ)/log r)})} 를 만족하며, 𝒩 = log_A N 이고 A = Ω(ζ^{-6} η^{-2} k^r log^2(N/k)) 이다.
• 측정 수는 O(g(ζ,η) · k log(N/k) · 𝒩^{log(r/b)/log b}) 이며, 𝒩 = log_A N 이고 r = 2b+1 이다. 이는 k와 N에 대해 거의 최적임을 보여준다.
• 해독 시간은 O(ζ^{-3} η^{-2} · 𝒩 · A · log A) + O(ζ^{-3} η^{-2} (k/η)^r · poly(log N)) 로 제한되며, 적절한 매개수 설정을 통해 부분선형 복잡도를 달성한다.
• 하한 증명 기법은 기존의 통신 복잡도 기반 방법보다 더 단순하고 직관적이며, Cohen 등이 p=0에 대해 제시한 Ω(N) 하한을 실패 확률의 전체 범위로 일반화한다.