[論文レビュー] Low-distortion Subspace Embeddings in Input-sparsity Time and Applications to Robust Linear Regression

Xiangrui Meng, Michael W. Mahoney|arXiv (Cornell University)|Oct 11, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用数 13

ひとこと要約

本稿では、p∈[1,2) における ℓp-ノルムにおける低歪み部分空間埋め込みを構築するための入力スパarsity時間アルゴリズムを提示する。これにより、ロバストな線形回帰問題を高速かつ正確に解けるようになる。主な貢献は、n×d 行列 A の列空間の (1±ε)-歪み埋め込みを O(nnz(A)·log n) 時間で計算する手法であり、埋め込み次元は O(d^{3+p/2} log(1/ε)/ε²) である。これは、従来の境界を著しく改善しつつ、最適な実行時間維持を実現している。

ABSTRACT

Low-distortion embeddings are critical building blocks for developing random sampling and random projection algorithms for linear algebra problems. We show that, given a matrix $A \in \R^{n imes d}$ with $n \gg d$ and a $p \in [1, 2)$, with a constant probability, we can construct a low-distortion embedding matrix $Π\in \R^{O(\poly(d)) imes n}$ that embeds $\A_p$, the $\ell_p$ subspace spanned by $A$'s columns, into $(\R^{O(\poly(d))}, \| \cdot \|_p)$; the distortion of our embeddings is only $O(\poly(d))$, and we can compute $ΠA$ in $O( nz(A))$ time, i.e., input-sparsity time. Our result generalizes the input-sparsity time $\ell_2$ subspace embedding by Clarkson and Woodruff [STOC'13]; and for completeness, we present a simpler and improved analysis of their construction for $\ell_2$. These input-sparsity time $\ell_p$ embeddings are optimal, up to constants, in terms of their running time; and the improved running time propagates to applications such as $(1\pm ε)$-distortion $\ell_p$ subspace embedding and relative-error $\ell_p$ regression. For $\ell_2$, we show that a $(1+ε)$-approximate solution to the $\ell_2$ regression problem specified by the matrix $A$ and a vector $b \in \R^n$ can be computed in $O( nz(A) + d^3 \log(d/ε) /ε^2)$ time; and for $\ell_p$, via a subspace-preserving sampling procedure, we show that a $(1\pm ε)$-distortion embedding of $\A_p$ into $\R^{O(\poly(d))}$ can be computed in $O( nz(A) \cdot \log n)$ time, and we also show that a $(1+ε)$-approximate solution to the $\ell_p$ regression problem $\min_{x \in \R^d} \|A x - b\|_p$ can be computed in $O( nz(A) \cdot \log n + \poly(d) \log(1/ε)/ε^2)$ time. Moreover, we can improve the embedding dimension or equivalently the sample size to $O(d^{3+p/2} \log(1/ε) / ε^2)$ without increasing the complexity.

研究の動機と目的

• p∈[1,2) における ℓp-ノルムにおける低歪み部分空間埋め込みのための効率的で、入力スパarsity時間のアルゴリズムを開発すること。
• 特に ℓ1 回帰において、ロバストな ℓp 回帰問題の実行時間と埋め込み次元を改善すること。
• Clarkson と Woodruff の入力スパarsity時間 ℓ2 埋め込みを、p<2 の ℓp に一般化すること。
• 繰り返しサンプリングと条件付けを用いて、多項式項と対数項を分離することで、d に対する埋め込み次元の依存関係を軽減すること。
• (1±ε)-歪み埋め込みおよび ℓp 回帰の (1+ε)-近似解に対して、ほぼ最適な実行時間と埋め込みサイズを達成すること。

提案手法

• A の列空間の ℓp 構造を歪み O(poly(d)) で保つ低歪み埋め込み行列 Π∈ℝ^{poly(d)×n} を構築する。
• 2段階のサンプリングと条件付け手順を用いる：まず QR や丸め処理を用いて良好に条件付けられた基底を計算し、次に部分空間を保存するサンプリングを適用して埋め込み次元を低減する。
• カウチ変換とレバレッジスコア推定技術を活用し、低歪みで効率的なサンプリングを可能にする。
• 2回目のサンプリングを適用して、poly(d) 要素を log(1/ε)/ε² 項から分離し、最終的な埋め込み次元を O(d^{3+p/2} log(1/ε)/ε²) に低減する。
• 問題をサイズ O(d^{3+p/2} log(1/ε)/ε²) × d にサブサンプリングし、その後に小さな問題を正確に解くことで ℓp 回帰を解く。
• スパース行列演算と効率的なサンプリング方式を用いることで、すべてのステップが入力スパarsity時間、すなわち O(nnz(A)·log n) で実行可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 p∈[1,2) に対して、入力スパarsity時間で低歪み ℓp 部分空間埋め込みを計算できるか？
• RQ2 実行時間の増加を伴わずに、埋め込み次元を O(poly(d)/ε²) から O(d^{3+p/2} log(1/ε)/ε²) に低減できるか？
• RQ3 ℓp 回帰において、埋め込み次元と条件付けの質のトレードオフを最適化するにはどうすればよいか？
• RQ4 ℓp 回帰の実行時間を O(nnz(A)·log n + poly(d)·log(1/ε)/ε²) に改善できるか？
• RQ5 埋め込み次元における d に対する大きな多項式依存関係を、log(1/ε)/ε² 項から分離することは可能か？

主な発見

• n×d 行列 A の ℓp 列空間の (1±ε)-歪み埋め込みは、O(nnz(A)·log n) 時間で計算可能であり、埋め込み次元は O(d^{3+p/2} log(1/ε)/ε²) である。
• アルゴリズムは入力スパarsity時間の時間計算量を達成しており、実行時間に関しては定数倍の意味で最適である。
• ℓ2 回帰の場合、(1+ε)-近似解は O(nnz(A) + d³ log(d/ε)/ε²) 時間で計算可能であり、従来の手法を改善している。
• p∈[1,2) における ℓp 回帰では、(1+ε)-近似解が O(nnz(A)·log n + poly(d)·log(1/ε)/ε²) 時間で計算可能である。
• 繰り返しサンプリングと条件付けを用いたことで、poly(d) 要素と log(1/ε)/ε² 項を分離し、より小さなサブサンプル問題を可能にした。
• Clarkson と Woodruff の入力スパarsity時間 ℓ2 埋め込みを一般化し、より単純かつタイトな解析により改善している。