[논문 리뷰] Improved Algorithms for Adaptive Compressed Sensing

Vasileios Nakos, Xiaofei Shi외 2명|arXiv (Cornell University)|2018. 04. 25.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 ℓp/ℓp 복원에 대해 p ∈ (0,2)일 때 근사 최적의 측정 복잡도와 감소된 적응 라운드 수를 달성하는 개선된 적응형 압축 측정 알고리즘을 제시한다. 새로운 1-스pars리covery 서브루틴과 계층적 서브샘플링을 도입함으로써, ℓ2/ℓ2 복원에 대해 O(k·loglog(n/k) + (k/ε)·loglog(1/ε))의 측정 수와 최적의 loglog(n) 라운드 수를 갖는다. 또한, 근사 최적성의 엄밀한 하한을 확립하여 성능의 근사 최적성을 확인한다.

ABSTRACT

In the problem of adaptive compressed sensing, one wants to estimate an approximately $k$-sparse vector $x\in\mathbb{R}^n$ from $m$ linear measurements $A_1 x, A_2 x,\ldots, A_m x$, where $A_i$ can be chosen based on the outcomes $A_1 x,\ldots, A_{i-1} x$ of previous measurements. The goal is to output a vector $\hat{x}$ for which $$\|x-\hat{x}\|_p \le C \cdot \min_{k ext{-sparse } x'} \|x-x'\|_q\,$$ with probability at least $2/3$, where $C > 0$ is an approximation factor. Indyk, Price and Woodruff (FOCS'11) gave an algorithm for $p=q=2$ for $C = 1+ε$ with $\Oh((k/ε) \loglog (n/k))$ measurements and $\Oh(\log^*(k) \loglog (n))$ rounds of adaptivity. We first improve their bounds, obtaining a scheme with $\Oh(k \cdot \loglog (n/k) +(k/ε) \cdot \loglog(1/ε))$ measurements and $\Oh(\log^*(k) \loglog (n))$ rounds, as well as a scheme with $\Oh((k/ε) \cdot \loglog (n\log (n/k)))$ measurements and an optimal $\Oh(\loglog (n))$ rounds. We then provide novel adaptive compressed sensing schemes with improved bounds for $(p,p)$ for every $0 < p < 2$. We show that the improvement from $O(k \log(n/k))$ measurements to $O(k \log \log (n/k))$ measurements in the adaptive setting can persist with a better $ε$-dependence for other values of $p$ and $q$. For example, when $(p,q) = (1,1)$, we obtain $O(\frac{k}{\sqrtε} \cdot \log \log n \log^3 (\frac{1}ε))$ measurements.

연구 동기 및 목표

• 적응형 압축 측정에서 측정 복잡도와 적응성 간 격차를 해소하기 위해, 특히 ℓ2/ℓ2 및 일반 ℓp/ℓp 복원(0 < p < 2)에 대해.
• Indyk, Price, and Woodruff (FOCS'11)의 이전 최고 성능을 초월하기 위해, ℓ2/ℓ2 복원에 대해 O((k/ε) loglog(n/k)) 측정 수와 O(log*(k) loglog(n)) 라운드 수를 사용한 C = 1+ε의 경우를 개선한다.
• 모든 p ∈ (0,2)에 대해 (p,p) 체계에 대해 처음으로 거의 최적의 경계를 제공한다. 비적응 설정에서도 마찬가지다.
• 정보 이론적 추론을 통해 거의 매칭되는 하한을 확립하여, 제안된 알고리즘이 측정 복잡도와 적응성 측면에서 거의 최적임을 입증한다.

제안 방법

• 서브샘플링과 반복 정밀화를 활용해 적응형 라운드에서 무거운 좌표를 효율적으로 탐지할 수 있도록 하는 새로운 1-스파스리커버리 알고리즘을 설계한다.
• 감소하는 샘플링 비율을 갖는 계층적 서브샘플링을 사용해 순차적인 라운드에서 고크기 좌표를 고립하고 복원한다.
• 개선된 1-스파스리커버리 서브루틴을 다수준 적응형 프레임워크에 통합하여 잔여 오차에 점차 집중하고 추정치를 정밀화한다.
• 마르코프 부등식과 농도 경계를 적용해 각 복원 단계의 고확률 성공을 보장하며, 실패 확률을 라운드 간에 제어한다.
• ℓp/ℓp 복원의 구조를 활용해 ε에 대해 유리하게 스케일링되는 측정 경계를 유도한다. 특히 p < 2일 경우에 유리하다.
• 정보 이론적 추론을 통해 하한을 증명하여, 제안된 측정 복잡도가 로그 요소를 제외한 거의 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 ℓ2/ℓ2 복원에 대해 O((k/ε) loglog(n/k))를 초월하는 측정 복잡도를 개선하면서도 라운드 수를 줄일 수 있는가?
• RQ2 0 < p < 2일 때 ℓp/ℓp 복원에 대해 측정 수와 적응성 라운드 수 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 ℓ1/ℓ1 복원에서 관찰된 개선된 ε-의존성을 p < 2인 다른 ℓp/ℓp 설정으로 확장할 수 있는가?
• RQ4 0 < p < 2인 (p,p) 복원에 대해 비적응 설정에서 거의 최적의 측정 복잡도를 달성할 수 있는가?
• RQ5 제안된 알고리즘은 적응형 압축 측정의 정보 이론적 하한과 얼마나 가까운가?

주요 결과

• C = 1+ε인 ℓ2/ℓ2 복원에 대해, O(k·loglog(n/k) + (k/ε)·loglog(1/ε))의 측정 수와 O(log*(k) loglog(n))의 라운드 수를 달성하여 이전의 O((k/ε) loglog(n/k)) 측정 수와 동일한 라운드 수를 개선한다.
• 새로운 체계는 O((k/ε)·loglog(n log(n/k)))의 측정 수와 최적의 O(loglog(n)) 라운드 수를 달성하여 최고의 알려진 라운드 복잡도를 따라간다.
• ℓ1/ℓ1 복원에 대해 O(k/√ε · loglog(n) · log^(5/2)(1/ε))의 측정 수를 확보하여 이전의 비적응 경계를 크게 향상시키고, 적응 하한과 로그 요소를 제외한 거의 매칭된다.
• 일반 ℓp/ℓp 복원(0 < p < 2)에 대해 O(k/ε^(p/2) · loglog(n) · poly(log(1/ε)))의 측정 수와 O(loglog(n))의 라운드 수를 달성하여, 적응성에서 유리한 loglog(n/k) 이득이 더 나은 ε-의존성과 함께 유지됨을 보여준다.
• 저자들은 거의 매칭되는 하한을 확립한다: ℓp/ℓp에 대해 Ω(k/ε^(p/2) / log²(k/ε))와 ℓ1/ℓ1에 대해 Ω(k/√ε / log(k/√ε))이며, 이는 알고리즘이 거의 최적임을 확인한다.
• 논문은 모든 p ∈ (0,2)에 대해 (p,p) 복원에 대해 처음으로 거의 최적의 비적응 경계를 제공하여 분야 내 열린 문제를 해결한다.