[論文レビュー] Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data

Cem Aksoylar, Venkatesh Saligrama|arXiv (Cornell University)|Mar 12, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用数 5

ひとこと要約

本稿は、依存性・ノイズ・相関を持つ特徴を伴う一般線形および非線形モデル下でのスパースサポート回復のための情報理論的枠組みを提案する。非漸近的回復誤り確率の上限を確立し、相互情報量を用いてタイトなサンプル複雑度の上限を導出する。$ N I(X_S;Y) > \log{D \choose K} $ が信頼できる回復に必要かつ十分であることが示され、SNR、相関、ノイズの影響が明確に特定されている。

ABSTRACT

We formulate sparse support recovery as a salient set identification problem and use information-theoretic analyses to characterize the recovery performance and sample complexity. We consider a very general model where we are not restricted to linear models or specific distributions. We state non-asymptotic bounds on recovery probability and a tight mutual information formula for sample complexity. We evaluate our bounds for applications such as sparse linear regression and explicitly characterize effects of correlation or noisy features on recovery performance. We show improvements upon previous work and identify gaps between the performance of recovery algorithms and fundamental information.

研究の動機と目的

• i.i.d. または線形仮定を超えて、依存性・ノイズのある特徴を伴う高次元設定におけるスパースサポート回復を扱う。
• 圧縮センシング、特徴選択、グループテストといった多様なスパース回復問題を、共通のマルコフ的枠組みで統一する。
• 顕著な集合同定における誤り確率の非漸近的・情報理論的上限を導出する。
• SNR、相関、ノイズといったモデルパラメータを用いて、サンプル複雑度を相互情報量の観点から特徴付ける。
• スパース回復におけるアルゴリズムの性能と根本的な情報理論的限界の間のギャップを埋める。

提案手法

• 真のサポート $ S $（サイズ $ K $）を前提として、$ P(Y|X) = P(Y|X_S) $ というマルコフ的仮定を用いて、スパース回復を顕著な集合同定問題として定式化する。
• 一般化されたチェルノフバウンドを用いて誤り確率の非漸近的上界を導出し、指数的誤り指数 $ E_o $ を得る。
• サンプル複雑度の主要指標として相互情報量 $ I(X_S;Y) $ を計算し、$ N I(X_S;Y) > \log{D \choose K} $ が信頼できる回復に必要かつ十分であることを示す。
• スパース線形回帰および1ビット圧縮センシングにこの枠組みを適用し、相関のある特徴とノイズのある変数を明示的にモデル化する。
• ガウス近似とモーメントマッチングを用いて、特定のモデル下での誤り指数の閉形式表現を導出する。
• ランダムな $ \beta_S $ に一般化し、パラメータ $ \rho $ を用いて特徴相関を扱い、尤度関数内の分散項を調整する。

実験結果

リサーチクエスチョン

• RQ1 特徴が依存的かつノイズを含む状況下で、信頼できるスパースサポート回復に必要な根本的なサンプル複雑度は何か？
• RQ2 特徴間の相関および観測値のノイズが、スパース回復における誤り確率にどのように影響を与えるか？
• RQ3 圧縮センシング、グループテスト、ロジスティック回帰といった多様なスパース回復問題を統一的に分析できる情報理論的枠組みを構築可能か？
• RQ4 現在の回復アルゴリズムの性能と根本的な情報理論的限界とのギャップは何か？
• RQ5 実用的モデルに対して、誤り確率の非漸近的上限を明示的に導出し、計算可能か？

主な発見

• 本稿は、サンプルサイズ $ N $ に従って指数的に減少する誤り確率のタイトな非漸近的上界を確立した。
• サンプル複雑度は、$ N I(X_S;Y) > \log{D \choose K} $ という条件で特徴付けられ、相互情報量が1サンプルあたりの有効情報量を定量化する。
• 相関のある特徴を伴うスパース線形モデルでは、誤り指数がSNR、特徴相関 $ \rho $、ノイズ分散に依存し、明示的な式が導出された。
• 誤り指数は $ E_o(1) \geq \frac{1}{2}\log\left(1 + c' \frac{1-\rho}{1+\nu} \frac{\sigma^2 \text{SNR}}{N\xi}\right) - \frac{1}{4N}\log 4 $ で下界付けられ、$ \xi = 1 + \frac{(1-\rho)\nu}{1+\nu} \frac{K \text{SNR} \sigma^2}{N} $ である。
• この枠組みにより、特徴相関やノイズ下での現在のアルゴリズムと情報理論的限界との間の性能ギャップが特定された。
• 1ビット圧縮センシングおよびスパース線形モデルに対して明示的な上限が導出され、相関が有効情報量を低下させ、必要なサンプルサイズを増加させることを示した。