[論文レビュー] Sequential Testing for Sparse Recovery

Matthew Malloy, Robert D. Nowak|arXiv (Cornell University)|Dec 8, 2012

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

本稿では、次元 $n$ ではなくスパース性レベル $s$ に対して対数的増加しか必要としない測定回数で漸近的に最適なスパース信号回復を達成する実用的な逐次的サンプリング手法である「逐次しきい値法」を提案する。これは、理論的下限である $\log s / D(P_0\|P_1)$ を達成しており、非逐次的手法と比較して顕著に測定回数を削減する。

ABSTRACT

This paper studies sequential methods for recovery of sparse signals in high dimensions. When compared to fixed sample size procedures, in the sparse setting, sequential methods can result in a large reduction in the number of samples needed for reliable signal support recovery. Starting with a lower bound, we show any coordinate-wise sequential sampling procedure fails in the high dimensional limit provided the average number of measurements per dimension is less then log s/D(P_0||P_1) where s is the level of sparsity and D(P_0||P_1) the Kullback-Leibler divergence between the underlying distributions. A series of Sequential Probability Ratio Tests (SPRT) which require complete knowledge of the underlying distributions is shown to achieve this bound. Motivated by real world experiments and recent work in adaptive sensing, we introduce a simple procedure termed Sequential Thresholding which can be implemented when the underlying testing problem satisfies a monotone likelihood ratio assumption. Sequential Thresholding guarantees exact support recovery provided the average number of measurements per dimension grows faster than log s/ D(P_0||P_1), achieving the lower bound. For comparison, we show any non-sequential procedure fails provided the number of measurements grows at a rate less than log n/D(P_1||P_0), where n is the total dimension of the problem.

研究の動機と目的

• 高次元スパース信号問題における信頼性のあるサポート回復に要する測定回数の根本的限界を確立すること。
• 潜在的な分布の完全な知識を必要とせず、これらの理論的限界に達する実用的な逐次的手順を開発すること。
• 測定効率の観点から、逐次的手法と非逐次的固定サンプルサイズ手順を比較すること。
• 逐次的サンプリングが、次元 $n$ に対して対数的である必要がある測定回数をスパース性 $s$ に対して対数的にすることができることを示すこと。
• 単調尤度比仮定の下で逐次しきい値法の性能を検証すること、これは現実世界の検出問題において一般的な条件である。

提案手法

• 各インデックスに対して過去の観測に基づいて測定を適応的に割り当てる座標ごとの逐次的サンプリング戦略を提案する。
• 逐次しきい値法を導入し、各インデックスを繰り返しテストすることで、非サポート要素を段階的に除外する。この際、試行回数としきい値を段階的に増加させる。
• 信頼度しきい値 $\gamma_k$ と $\rho^2$ に比例し、問題パラメータに従って縮小する予算 $m_k$ を用いた停止ルールを採用する。
• 家族誤差制御を保証するため、$\log(1/\delta)/\log(1/(1-\rho))$ のスケーリングを示す動的ステップ数 $K$ を使用する。
• 誤差確率を抑え、有限標本における性能保証を導出するために、Chernoff-Stein Lemma フレームワークを用いる。
• テスト統計量が確率的に単調増加となるように保証するため、単調尤度比性質に依存し、信頼性の高いしきい値処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 逐次的スパース回復において、正確なサポート回復を達成するために必要な測定回数の根本的下限は何か？
• RQ2 分布 $P_0$ と $P_1$ の完全な知識を必要とせず、この下限に達する実用的な逐次的手順を設計可能か？
• RQ3 高次元スパース設定において、逐次的手法と非逐次的固定サンプルサイズ手順の性能はどのように比較できるか？
• RQ4 どのような条件下で逐次しきい値法が高確率で正確なサポート回復を保証するか？
• RQ5 信頼性ある回復に必要な測定回数の漸近的増加率は何か？また、これはスパース性 $s$ と次元 $n$ のどちらに依存するか？

主な発見

• 座標ごとの逐次的手続きでは、次元あたりの平均測定回数が $\log s / D(P_0\|P_1)$ よりも小さい場合、正確なサポート回復に失敗する。
• 測定回数 $m \geq (\log s + \log \delta^{-1} + \log 4)/c_n$ を満たす限り、逐次しきい値法は誤差確率 $\delta$ で正確なサポート回復を保証する。ここで $c_n$ は正則性条件下で $D(P_0\|P_1)$ に近づく。
• $m / \log s > 1 / D(P_0\|P_1)$ のとき、$n \to \infty$ において誤差確率は 0 に近づき、漸近的最適性が証明される。
• 逐次しきい値法は情報理論的下限に達しており、測定効率の観点から一次的最適性を達成する。
• 非逐次的手法では $m \geq \log n / D(P_1\|P_0)$ 必要があり、$s \ll n$ の場合、逐次的手法の下限に比べて顕著に大きい。
• 単調尤度比仮定の下で実装可能であり、$P_1$ が完全には未知であるが多くの現実世界の検出問題に適用可能である。