[論文レビュー] Sketching Sparse Matrices

Gautam Dasarathy, Parikshit Shah+2 more|arXiv (Cornell University)|Mar 26, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用数 23

ひとこと要約

この論文は、非ゼロ要素が行と列に散らばる分散スパース行列を、ℓ₁最小化を用いた凸最適化によって回復するための新しいスケッチフレームワークを提案する。高い確率で、非ゼロ要素がO(p)個ある未知のp×p行列は、非ゼロ要素がどの行や列にも集中していない限り、m = O(√(非ゼロ要素数) × log p)の測定値のみで正確に回復可能であることが示されている。

ABSTRACT

This paper considers the problem of recovering an unknown sparse p imes p matrix X from an m imes m matrix Y=AXB^T, where A and B are known m imes p matrices with m << p. The main result shows that there exist constructions of the "sketching" matrices A and B so that even if X has O(p) non-zeros, it can be recovered exactly and efficiently using a convex program as long as these non-zeros are not concentrated in any single row/column of X. Furthermore, it suffices for the size of Y (the sketch dimension) to scale as m = O(\sqrt{# nonzeros in X} imes log p). The results also show that the recovery is robust and stable in the sense that if X is equal to a sparse matrix plus a perturbation, then the convex program we propose produces an approximation with accuracy proportional to the size of the perturbation. Unlike traditional results on sparse recovery, where the sensing matrix produces independent measurements, our sensing operator is highly constrained (it assumes a tensor product structure). Therefore, proving recovery guarantees require non-standard techniques. Indeed our approach relies on a novel result concerning tensor products of bipartite graphs, which may be of independent interest. This problem is motivated by the following application, among others. Consider a p imes n data matrix D, consisting of n observations of p variables. Assume that the correlation matrix X:=DD^{T} is (approximately) sparse in the sense that each of the p variables is significantly correlated with only a few others. Our results show that these significant correlations can be detected even if we have access to only a sketch of the data S=AD with A \in R^{m imes p}.

研究の動機と目的

• m ≪ pであることを前提として、p×p行列Xの圧縮スケッチY = AXBᵀしか入手できない状況において、高次元スパース行列を回復する課題に対処すること。
• テンソル積構造を持つ高次元のセンシング演算子を扱えるように、従来の圧縮センシングの限界を克服すること。
• センシング行列AとBが小さくスパースである制約下でも動作する回復手法を開発すること。
• 非ゼロ要素が行と列に分散している分散スパース性の下で、正確かつロバストな回復に対する理論的保証を確立すること。
• 共分散推定、多次元信号処理、ネットワーク発見といった実世界の問題に適用可能なフレームワークを提供すること。

提案手法

• p×p行列Xをm×mのスケッチYに圧縮するため、テンソル積構造Y = AXBᵀを用いる。ここでm ≪ pである。
• 行列回復問題をℓ₁最小化問題として定式化する：Y = AXBᵀを満たすXについて‖X‖₁を最小化する。
• 非ゼロ要素が行と列に分散している場合の回復保証を示すために、ランダムな二部グラフのテンソル積に関する新しいグラフ理論的補題を活用する。
• 隣接拡張性の性質を用いて、構造化されたセンシング演算子A⊗Bに適応した制限等長性型の議論を展開する。
• ベクトル化と部分行列への射影技術を用いて、回復誤差における残差成分のℓ₁ノルムを評価する。
• 安定かつ正確な回復を保証するためのAとBの条件（適切なスパarsityを持つランダムなバイナリ行列）を確立する。

実験結果

リサーチクエスチョン

• RQ1 センシング演算子がテンソル積構造を持つ場合、圧縮スケッチY = AXBᵀから凸最適化により分散スパース行列を回復できるか？
• RQ2 O(p)の非ゼロ要素を持つ分散スパース行列の正確な回復に必要な最小のスケッチ次元mは何か？
• RQ3 回復性能は非ゼロ要素のスパース分布にどのように依存するか？特に、非ゼロ要素が少数の行や列に集中している場合にどうなるか？
• RQ4 回復は加法的摂動に対してロバストであるか？また、近似誤差は摂動の大きさに比例して有界に保証できるか？
• RQ5 実用的推定タスクにおける加法的ガウスノイズやウィシャートノイズのようなノイズ環境において、理論的保証を拡張できるか？

主な発見

• 非ゼロ要素がO(p)個ある分散スパース行列Xは、非ゼロ要素がどの行や列にも集中していない限り、高確率でm = O(√(Xの非ゼロ要素数) × log p)のスケッチ測定値のみで正確に回復可能である。
• 回復はロバストである：Xがスパース行列に摂動を加えたものである場合、ℓ₁最小化により得られる推定値の誤差は、摂動のℓ₁ノルムに比例する。
• Xの非ゼロ要素がどの行や列にも集中していない場合にのみ、本手法は成功する。これは行列全体にわたる十分な分散を保証する。
• 理論的保証は、ランダムな二部グラフのテンソル積の拡張性に関する新しい結果に依存しており、これによりセンシング演算子が制限等長性に類似した性質を満たすことが保証される。
• AとBを適切にランダムに構成した場合、確率1 − p⁻ᶜ（c > 0）以上の確率で回復が保証される。
• 本フレームワークは、共分散スケッチ、多次元信号処理、圧縮データからのネットワーク発見といった実世界の問題に適用可能である。