[論文レビュー] Input Sparsity and Hardness for Robust Subspace Approximation

Kenneth L. Clarkson, David P. Woodruff|arXiv (Cornell University)|Oct 20, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用数 20

ひとこと要約

本稿では、$p \in [1,2)$ におけるロバストな部分空間近似のための入力スパarsityアルゴリズムを提示し、$O(\operatorname{nnz}(A) + (n+d)\cdot{\mathrm{poly}}(k/\varepsilon) + \exp({\mathrm{poly}}(k/\varepsilon)))$ 時間で $(1+\varepsilon)$-近似を達成する。$(1+1/{\mathrm{poly}}(d))$-近似のNP困難性を証明し、未解決の問題を解決した。また、$M$-推定回帰のための最初の $O(\operatorname{nnz}(A) + {\mathrm{poly}}(d/\varepsilon))$-時間アルゴリズムを提供した。

ABSTRACT

In the subspace approximation problem, we seek a k-dimensional subspace F of R^d that minimizes the sum of p-th powers of Euclidean distances to a given set of n points a_1, ..., a_n in R^d, for p >= 1. More generally than minimizing sum_i dist(a_i,F)^p,we may wish to minimize sum_i M(dist(a_i,F)) for some loss function M(), for example, M-Estimators, which include the Huber and Tukey loss functions. Such subspaces provide alternatives to the singular value decomposition (SVD), which is the p=2 case, finding such an F that minimizes the sum of squares of distances. For p in [1,2), and for typical M-Estimators, the minimizing $F$ gives a solution that is more robust to outliers than that provided by the SVD. We give several algorithmic and hardness results for these robust subspace approximation problems. We think of the n points as forming an n x d matrix A, and letting nnz(A) denote the number of non-zero entries of A. Our results hold for p in [1,2). We use poly(n) to denote n^{O(1)} as n -> infty. We obtain: (1) For minimizing sum_i dist(a_i,F)^p, we give an algorithm running in O(nnz(A) + (n+d)poly(k/eps) + exp(poly(k/eps))), (2) we show that the problem of minimizing sum_i dist(a_i, F)^p is NP-hard, even to output a (1+1/poly(d))-approximation, answering a question of Kannan and Vempala, and complementing prior results which held for p >2, (3) For loss functions for a wide class of M-Estimators, we give a problem-size reduction: for a parameter K=(log n)^{O(log k)}, our reduction takes O(nnz(A) log n + (n+d) poly(K/eps)) time to reduce the problem to a constrained version involving matrices whose dimensions are poly(K eps^{-1} log n). We also give bicriteria solutions, (4) Our techniques lead to the first O(nnz(A) + poly(d/eps)) time algorithms for (1+eps)-approximate regression for a wide class of convex M-Estimators.

研究の動機と目的

• ロバストな部分空間近似のための効率的アルゴリズムを開発すること。$p \in [1,2)$ で $\sum_i \mathrm{dist}(a_i, F)^p$ または一般の $M$-推定関数を最小化する。
• ロバストな部分空間近似が、$1+1/{\mathrm{poly}}(d)$ 要因内で近似可能であることを計算的に困難であることを確立すること。$p \in [1,2)$ に対しても同様である。
• 問題サイズの縮小技術を用いて、大規模なロバストな部分空間問題を、より小さい制約付きインスタンスに還元すること。
• 広範な凸 $M$-推定関数のクラスに対して、$(1+\varepsilon)$-近似回帰のための最初の入力スパarsityアルゴリズムを設計すること。

提案手法

• 入力スパarsity技術を活用し、非ゼロ要素数 $\operatorname{nnz}(A)$ に線形な実行時間を達成するとともに、コアセット構築による次元削減を組み合わせる。
• リーマスコアサンプリングと重み付きノルム推定を用いた再帰的フレームワークを採用し、近似保証を維持しながら問題サイズを縮小する。
• 再帰的レベルが $O(\log n)$ 回に達した後、縮小されたインスタンスに対してエリソイド法を適用し、縮小サイズが $n^{\beta}{\mathrm{poly}}(d/\varepsilon)$（$\beta < 1/(2C)$）である場合、多項式時間で解けることを保証する。
• 大規模な $M$-推定関数の問題を、サイズ ${\mathrm{poly}}(K\varepsilon^{-1}\log n)$ の制約付き問題に変換する新しい還元法を用いる。ここで $K = (\log n)^{O(\log k)}$ である。
• 近似品質と次元のトレードオフを許容する二基準解法フレームワークを導入する。
• Clique問題からの困難性還元を用いて、$(1+1/{\mathrm{poly}}(d))$-近似が、$p \in [1,2)$ に対してもNP困難であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 $p \in [1,2)$ に対して、入力スパarsity時間内に $(1+\varepsilon)$-近似ロバスト部分空間近似を達成できるか？
• RQ2 ロバスト部分空間近似が、$p \in [1,2)$ に対し、$(1+1/{\mathrm{poly}}(d))$ 要因内で近似可能であることは計算的に困難か？
• RQ3 近似品質を維持したまま、大規模なロバスト部分空間問題を、より小さい構造的インスタンスに還元できるか？
• RQ4 広範な凸 $M$-推定関数のクラスに対して、$(1+\varepsilon)$-近似回帰の最適実行時間は何か？
• RQ5 入力スパarsity技術を $p=2$（SVD）を越えて、ロバストな $M$-推定関数回帰へ拡張できるか？

主な発見

• 実行時間 $O(\operatorname{nnz}(A) + (n+d)\cdot{\mathrm{poly}}(k/\varepsilon) + \exp({\mathrm{poly}}(k/\varepsilon)))$ のアルゴリズムを提示し、$p \in [1,2)$ に対して $\sum_i \mathrm{dist}(a_i, F)^p$ を $(1+\varepsilon)$-近似する $k$ 次元部分空間を計算する。
• $p \in [1,2)$ に対して $\sum_i \mathrm{dist}(a_i, F)^p$ を最小化する問題が、$1+1/{\mathrm{poly}}(d)$ 要因内で近似可能であることは、NP困難であることが証明され、KannanとVempalaが提起した未解決問題が解決された。
• 広範な $M$-推定関数のクラスに対して、$O(\operatorname{nnz}(A)\log n + (n+d)\cdot{\mathrm{poly}}(K/\varepsilon))$ 時間で、サイズ ${\mathrm{poly}}(K\varepsilon^{-1}\log n)$ の制約付きインスタンスに還元可能である。ここで $K = (\log n)^{O(\log k)}$ である。
• 広範な凸 $M$-推定関数のクラスに対して、$(1+\varepsilon)$-近似回帰のための最初の $O(\operatorname{nnz}(A) + {\mathrm{poly}}(d/\varepsilon))$-時間アルゴリズムが提供された。これは、一般の $M$-推定関数に対しては $O(1)$-近似しか達成できなかった先行研究を改善した。
• 困難性結果から、$k$ や $1/\varepsilon$ の多項式時間で実行されるアルゴリズムが $(1+1/{\mathrm{poly}}(d))$-近似を達成できるのは、$P = NP$ でない限り不可能であることが示され、先行研究と併せ、すべての $p \neq 2$ に対してNP困難であることが確立された。
• Clique問題からロバスト部分空間近似への還元により、$k$-クリークを含むインスタンスと含まないインスタンスとの間のコストギャップが、加法的要因 $\Omega((1/B_1)^{p/2}/r^2)$ に達することが示され、$1+1/{\mathrm{poly}}(d)$ 近似の下で検出可能である。