[論文レビュー] Improved Algorithms for Adaptive Compressed Sensing

Vasileios Nakos, Xiaofei Shi+2 more|arXiv (Cornell University)|Apr 25, 2018

Sparse and Compressive Sensing Techniques参考文献 15被引用数 5

ひとこと要約

本稿では、p ∈ (0,2) の ℓp/ℓp 復元に対して、近似的に最適な測定数と減少した段階数の適応的圧縮センシングアルゴリズムを提示する。新しい1スパース復元サブルーチンと階層的サブサンプリングを導入することで、ℓ2/ℓ2 復元では O(k·loglog(n/k) + (k/ε)·loglog(1/ε)) の測定数、最適な loglog(n) 段階数の適応的復元では O((k/ε)·loglog(n log(n/k))) の測定数を達成した。また、近似的に最適性を確認するためのタイトな下界を確立した。

ABSTRACT

In the problem of adaptive compressed sensing, one wants to estimate an approximately $k$-sparse vector $x\in\mathbb{R}^n$ from $m$ linear measurements $A_1 x, A_2 x,\ldots, A_m x$, where $A_i$ can be chosen based on the outcomes $A_1 x,\ldots, A_{i-1} x$ of previous measurements. The goal is to output a vector $\hat{x}$ for which $$\|x-\hat{x}\|_p \le C \cdot \min_{k ext{-sparse } x'} \|x-x'\|_q\,$$ with probability at least $2/3$, where $C > 0$ is an approximation factor. Indyk, Price and Woodruff (FOCS'11) gave an algorithm for $p=q=2$ for $C = 1+ε$ with $\Oh((k/ε) \loglog (n/k))$ measurements and $\Oh(\log^*(k) \loglog (n))$ rounds of adaptivity. We first improve their bounds, obtaining a scheme with $\Oh(k \cdot \loglog (n/k) +(k/ε) \cdot \loglog(1/ε))$ measurements and $\Oh(\log^*(k) \loglog (n))$ rounds, as well as a scheme with $\Oh((k/ε) \cdot \loglog (n\log (n/k)))$ measurements and an optimal $\Oh(\loglog (n))$ rounds. We then provide novel adaptive compressed sensing schemes with improved bounds for $(p,p)$ for every $0 < p < 2$. We show that the improvement from $O(k \log(n/k))$ measurements to $O(k \log \log (n/k))$ measurements in the adaptive setting can persist with a better $ε$-dependence for other values of $p$ and $q$. For example, when $(p,q) = (1,1)$, we obtain $O(\frac{k}{\sqrtε} \cdot \log \log n \log^3 (\frac{1}ε))$ measurements.

研究の動機と目的

• 適応的圧縮センシングにおける測定数と適応的段階数のギャップを埋めること、特に ℓ2/ℓ2 と 0 < p < 2 の一般 ℓp/ℓp 復元に対して。
• Indyk, Price, および Woodruff (FOCS'11) が提唱した先行研究を改善すること。彼らの手法は ℓ2/ℓ2 復元に O((k/ε) loglog(n/k)) の測定数と O(log*(k) loglog(n)) の段階数を用い、C = 1+ε であった。
• すべての p ∈ (0,2) に対して (p,p) スキームの最初のほぼ最適な境界を非適応的設定でも提供すること。
• 情報理論的議論を用いて、近似的に一致する下界を確立し、提案されたアルゴリズムが測定数と適応的段階数の両面でほぼ最適であることを示すこと。

提案手法

• サブサンプリングと反復的精錬を用いて、適応的段階で重い座標を効率的に検出できる新しい1スパース復元アルゴリズムを設計する。
• 徐々に減少するサンプリングレートを用いた階層的サブサンプリングにより、高マグニチュードの座標を段階的に分離・復元する。
• 改良された1スパース復元サブルーチンを多段階適応フレームワークに統合し、残差誤差に次第に焦点を当て、推定値を精錬する。
• マルコフの不等式と集中不等式を適用し、各復元ステップの高確率成功を保証し、段階全体にわたる失敗確率を制御する。
• ℓp/ℓp 復元の構造を活用して、特に p < 2 の場合に ε に強く依存する有利な測定数スケーリングを導出する。
• 情報理論的議論により下界を証明し、提案された測定数の複雑さが対数要因を除いてほぼ最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ℓ2/ℓ2 復元における適応的圧縮センシングの測定数を、O((k/ε) loglog(n/k)) を超えて改善しつつ、段階数を削減することは可能か？
• RQ2 0 < p < 2 の場合に ℓp/ℓp 復元の測定数と適応的段階数の最適なトレードオフは何か？
• RQ3 ℓ1/ℓ1 復元で観察された改善された ε 依存性は、p < 2 の他の ℓp/ℓp 環境に拡張可能か？
• RQ4 非適応的設定において、0 < p < 2 の (p,p) 復元でほぼ最適な測定数を達成することは可能か？
• RQ5 提案されたアルゴリズムは、適応的圧縮センシングの情報理論的下界にどの程度近いか？

主な発見

• C = 1+ε の ℓ2/ℓ2 復元では、O(k·loglog(n/k) + (k/ε)·loglog(1/ε)) の測定数と O(log*(k) loglog(n)) の段階数を達成し、以前の O((k/ε) loglog(n/k)) の測定数と同等の段階数を改善した。
• 新しい手法により、最適な O(loglog(n)) 段階数を達成する O((k/ε)·loglog(n log(n/k))) の測定数を実現した。
• ℓ1/ℓ1 復元では、O(k/√ε · loglog(n) · log^(5/2)(1/ε)) の測定数を達成し、従来の非適応的境界を著しく改善し、適応的下界と対数要因を除いて一致した。
• 一般の ℓp/ℓp 復元（0 < p < 2）では、O(k/ε^(p/2) · loglog(n) · poly(log(1/ε))) の測定数と O(loglog(n)) の段階数を達成し、適応的性質による loglog(n/k) の節約が、より良い ε 依存性とともに継続することを示した。
• 著者らは近似的に一致する下界を確立した：ℓp/ℓp に対しては Ω(k/ε^(p/2) / log²(k/ε))、ℓ1/ℓ1 に対しては Ω(k/√ε / log(k/√ε)) であり、アルゴリズムがほぼ最適であることを確認した。
• 本稿は、すべての p ∈ (0,2) に対して (p,p) 復元の最初のほぼ最適な非適応的境界を提供し、分野における未解決の問題を解決した。