[논문 리뷰] (1+eps)-approximate Sparse Recovery

Eric Price, David P. Woodruff|arXiv (Cornell University)|2011. 10. 19.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 7

한 줄 요약

이 논문은 ℓ₁ 및 ℓ₂ 노름에서 (1+ε)-근사 희소 복구의 측정 복잡도를 해결하며, k-희소 출력에 대해 k/εᵖ·polylog(n)의 측정이 필요하고 충분함을 보이며, ℓ₂에서 비희소 출력에 대해서는 (1/ε)k log(n/k)로 상한이 날카롭게 맞아떨어짐을 보임. 또한 ℓ₁에서 O(log³(1/ε)/√ε · k log n)의 측정을 달성하는 새로운 알고리즘을 제안하여 이전의 1/ε 의존성보다 우월함.

ABSTRACT

The problem central to sparse recovery and compressive sensing is that of stable sparse recovery: we want a distribution of matrices A in R^{m imes n} such that, for any x \in R^n and with probability at least 2/3 over A, there is an algorithm to recover x* from Ax with ||x* - x||_p <= C min_{k-sparse x'} ||x - x'||_p for some constant C > 1 and norm p. The measurement complexity of this problem is well understood for constant C > 1. However, in a variety of applications it is important to obtain C = 1 + eps for a small eps > 0, and this complexity is not well understood. We resolve the dependence on eps in the number of measurements required of a k-sparse recovery algorithm, up to polylogarithmic factors for the central cases of p = 1 and p = 2. Namely, we give new algorithms and lower bounds that show the number of measurements required is (1/eps^{p/2})k polylog(n). For p = 2, our bound of (1/eps) k log(n/k) is tight up to constant factors. We also give matching bounds when the output is required to be k-sparse, in which case we achieve (1/eps^p) k polylog(n). This shows the distinction between the complexity of sparse and non-sparse outputs is fundamental.

연구 동기 및 목표

• ε가 작을 때 (1+ε)-근사 희소 복구의 측정 복잡도에 대한 이해의 격차를 메우기.
• k-희소 출력 복구와 비-k-희소 출력 복구 간의 측정 요구 사항에서의 차이가 본질적인지 여부를 규명하기.
• ℓ₁ 및 ℓ₂ 노름에서 (1+ε)-근사 복구에 필요한 측정 수의 날카운 하한 및 상한을 확립하기.
• ℓ₁ 복구에서 이전의 1/ε 의존성보다 개선된 측정 복잡도를 달성하는 새로운 알고리즘 개발하기.

제안 방법

• Count-Sketch에 최상위 2k 요소의 임계값 처리를 적용하여 ℓ₂에서 (1+ε)-근사 복구를 달성하는 새로운 알고리즘을 제안하며, O((1/ε)k log(n/k))의 측정을 사용함.
• 오류 수정 코드와 노이즈가 있는 선형 측정에서의 강건한 복구 기반의 새로운 하한 기법을 도입함.
• 특정 거리 특성을 가진 코드의 리스트 복원 문제로 희소 복구를 감소시켜, k-희소 출력에 대해 Ω(k/εᵖ)의 하한을 유도함.
• 가짜 좌표와 노이즈 모델을 포함한 이중적 추론을 통해 k=1의 경우 하한을 도출하고, 이를 일반 k로 확장함.
• 선형 스케치의 편향에 대한 강건성 분석을 통해 Count-Sketch에서 최상위 2k 요소를 임계값 처리하면 고확률로 (1+ε)-근사가 달성됨을 보임.
• 확률적 구성과 농도 부등식을 조합하여 실패 확률 δ = o(1)로 고확률 복구를 보장함.

실험 결과

연구 질문

• RQ1 비-k-희소 출력을 가진 (1+ε)-근사 ℓ₂ 희소 복구에 대해 최적의 측정 복잡도는 무엇인가요?
• RQ2 k-희소 출력 복구와 비-k-희소 출력 복구 간에 (1+ε)-근사 복구에서 측정 복잡도에 본질적인 격차가 존재하는가요?
• RQ3 ℓ₁ 복구에서 측정 복잡도의 1/ε² 의존성을 1/ε 또는 그 이하로 개선할 수 있는가요?
• RQ4 k-희소 출력을 가진 (1+ε)-근사 ℓ₁ 복구에 대해 측정 수의 가장 날카운 하한은 무엇인가요?
• RQ5 실패 확률 δ가 (1+ε)-근사 복구의 측정 복잡도에 어떤 영향을 미치나요?

주요 결과

• 비-k-희소 출력을 가진 ℓ₂ 복구의 경우 측정 복잡도는 Θ((1/ε)k log(n/k))이며, 상한과 상수 인자 수준에서 정확히 일치함.
• k-희소 출력을 가진 ℓ₂ 복구의 경우 측정 복잡도는 Ω((1/ε²)k)이며 O((1/ε²)k log n)이므로, 비희소 출력과는 본질적인 격차가 있음.
• k-희소 출력을 가진 ℓ₁ 복구의 경우 측정 복잡도는 Ω(k/ε)이며 O((1/ε)k log n)이므로, 다항로그 인자 수준에서 일치함.
• 일반(비-k-희소) 출력을 가진 ℓ₁ 복구의 경우 측정 복잡도는 Ω(k/√ε)이며 O((log³(1/ε)/√ε)k log n)이므로, 이전의 1/ε 의존성보다 개선됨.
• 논문은 k-희소 출력과 비-k-희소 출력 간의 차이가 (1+ε)-근사 영역에서 본질적임을 규명하였으며, 측정 복잡도가 상당히 다름을 보임.
• 제안된 알고리즘은 O((1/ε)k log(n/k))의 측정과 실패 확률 1−n⁻Ω(1)로 (1+ε)-근사 ℓ₂ 복구를 달성하며, 고확률 복구에서 이전 방법보다 뛰어남.