[論文レビュー] Testing Sparsity over Known and Unknown Bases

Siddharth Barman, Arnab Bhattacharyya+1 more|arXiv (Cornell University)|Aug 3, 2016

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、高次元ベクトルにおけるスパarsityの効率的性質テストアルゴリズムを、低次元線形射影を用いて提示する。2つの新規テスト手法を導入する：1つ目は既知の設計行列を用いたもので、近似Carathéodoryの定理を応用し、O(kε⁻² log m)クエリで多項式時間計算量を達成する。2つ目は制限的等長性を満たす未知の行列を想定し、ロバストなガウス幅特徴付けに依存するもので、O(ε⁻² log p)クエリを要する。両者とも最適なクエリ複雑度と高い正確性を達成する。

ABSTRACT

Sparsity is a basic property of real vectors that is exploited in a wide variety of applications. In this work, we describe property testing algorithms for sparsity that observe a low-dimensional projection of the input. We consider two settings. In the first setting, for a given design matrix A in R^{d x m}, we test whether an input vector y in R^d equals Ax for some k-sparse unit vector x. Our algorithm projects the input onto O(k \eps^{-2} log m) dimensions, accepts if the property holds, rejects if ||y - Ax|| > \eps for any O(k/\eps^2)-sparse vector x, and runs in time polynomial in m. Our algorithm is based on the approximate Caratheodory's theorem. Previously known algorithms that solve the problem for arbitrary A with qualitatively similar guarantees run in exponential time. In the second setting, the design matrix A is unknown. Given input vectors y_1, y_2,...,y_p in R^d whose concatenation as columns forms Y in R^{d x p} , the goal is to decide whether Y=AX for matrices A in R^{d x m} and X in R^{m x p} such that each column of X is k-sparse, or whether Y is "far" from having such a decomposition. We give such a testing algorithm which projects the input vectors to O(log p/\eps^2) dimensions and assumes that the unknown A satisfies k-restricted isometry. Our analysis gives a new robust characterization of gaussian width in terms of sparsity.

研究の動機と目的

• 実数ベクトルにおけるスパarsityの効率的性質テストアルゴリズムを、線形測定値を用いて開発すること。
• 設計行列 A が既知または未知の場合に、最小限のクエリ複雑度でスパarsityをテストする課題に対処すること。
• 類似の保証を持つ既存の指数時間解法を克服し、既知-A設定において多項式時間アルゴリズムを達成すること。
• 制限的等長性とガウス幅解析を活用して、ノイズと未知の A に対してロバストなテストを提供すること。
• 理論的およびアルゴリズム的用途のため、スパarsityの観点からガウス幅の新しいロバスト特徴付けを確立すること。

提案手法

• 既知の設計行列行列設定において、スパarsityテスト問題を低次元射影に還元するために、近似Carathéodoryの定理を用いる。
• 次元 O(kε⁻² log m) の確率的線形射影を用い、y = Ax を満たす k-スパース単位ベクトル x があるかをテストする。
• 未知-A設定では、ランダム行列 M に対して My をクエリするスケッチベーステスト手法を適用し、クエリ複雑度は O(ε⁻² log p) となる。
• 未知行列 A が (ε,k)-制限的等長性（RIP）を満たすことで、スパース表現の安定回復を保証する。
• 敵対的ノイズ下での妥当性と完全性の保証を導くために、摂動集合のガウス幅を分析する。
• 集中不等式とガウス最大値の尾部バウンドを用いて、ノイズあり設定における推定誤差を制限する。

実験結果

リサーチクエスチョン

• RQ1 設計行列 A が既知である場合に、サブ線形クエリ複雑度でスパarsityテストを効率的に実行できるか？
• RQ2 既知-A設定において、指数時間代替手法を避けて、スパarsityテストの多項式時間アルゴリズムを達成できるか？
• RQ3 設計行列 A が未知だが RIP を満たす場合、どのようにスパース表現をテストできるか？
• RQ4 ノイズ下でスパarsityをロバストにテストするために、必要な最小線形測定数は何か？
• RQ5 高次元設定においてスパarsityを捉える新しいロバストなガウス幅特徴付けを導出できるか？

主な発見

• 既知の A に対して、提案手法は O(kε⁻² log m) のクエリ複雑度を達成し、m に関してほぼ多項式時間で実行され、従来の指数時間アルゴリズムに比べ顕著な改善を示す。
• アルゴリズムは、ある k-スパース単位ベクトル x に対して y = Ax を満たす場合に受け入れられ、任意の O(k/ε²)-スパース x に対して ||y - Ax|| > ε である場合には、高い確率で拒否する。
• 未知-A設定では、O(ε⁻² log p) のクエリを用い、Y = AX が X の k-スパース列を持つ場合か、それらの分解から遠く離れているかを正しく同定する。
• 敵対的ノイズ下でも妥当性と完全性の保証が成り立つ。ノイズ条件は ||wi||₂ ≤ O(ε¹/⁴) および ||zi||∞ ≤ ε² であり、ロバスト性が示される。
• 本稿では、スパース集合の構造とその凸包とを関連付けることで、スパarsityの観点からガウス幅の新しいロバスト特徴付けを確立する。
• 解析により、ノイズモデル下で摂動集合のガウス幅 ω(Ŷ) が ω(Sp₄ₖᵐ) で有界であることが示され、高い確率で正しく受け入れられることを保証する。