[論文レビュー] Subspace Embeddings and $\ell_p$-Regression Using Exponential Random Variables

David P. Woodruff, Qin Zhang|arXiv (Cornell University)|May 23, 2013

Sparse and Compressive Sensing Techniques参考文献 28被引用数 22

ひとこと要約

本稿では、指数分布を用いた新しいオーバーサブスペース埋め込みを提案し、ℓ_p-回帰に対して最適な O(nnz(M)) 時間で計算可能であり、すべての p ∈ [1, ∞) に対して多項式時間の歪みを達成する。ℓ₁からℓ₁への埋め込みにおける歪みを、従来の Õ(d³) から Õ(d²) に改善し、さらに d = Ω(log n) のときには Õ(d^{3/2})log^{1/2}n まで向上させ、MengとMahoneyが提起した未解決の問題に答えている。また、p ∈ [1, ∞) に対して一般の凸計画法を避ける、ほぼ最適な分散型 ℓ_p-回帰のプロトコルを初めて提供している。

ABSTRACT

Oblivious low-distortion subspace embeddings are a crucial building block for numerical linear algebra problems. We show for any real $p, 1 \leq p < \infty$, given a matrix $M \in \mathbb{R}^{n imes d}$ with $n \gg d$, with constant probability we can choose a matrix $Π$ with $\max(1, n^{1-2/p}) \poly(d)$ rows and $n$ columns so that simultaneously for all $x \in \mathbb{R}^d$, $\|Mx\|_p \leq \|ΠMx\|_{\infty} \leq \poly(d) \|Mx\|_p.$ Importantly, $ΠM$ can be computed in the optimal $O( nz(M))$ time, where $ nz(M)$ is the number of non-zero entries of $M$. This generalizes all previous oblivious subspace embeddings which required $p \in [1,2]$ due to their use of $p$-stable random variables. Using our matrices $Π$, we also improve the best known distortion of oblivious subspace embeddings of $\ell_1$ into $\ell_1$ with $ ilde{O}(d)$ target dimension in $O( nz(M))$ time from $ ilde{O}(d^3)$ to $ ilde{O}(d^2)$, which can further be improved to $ ilde{O}(d^{3/2}) \log^{1/2} n$ if $d = Ω(\log n)$, answering a question of Meng and Mahoney (STOC, 2013). We apply our results to $\ell_p$-regression, obtaining a $(1+\eps)$-approximation in $O( nz(M)\log n) + \poly(d/\eps)$ time, improving the best known $\poly(d/\eps)$ factors for every $p \in [1, \infty) \setminus \{2\}$. If one is just interested in a $\poly(d)$ rather than a $(1+\eps)$-approximation to $\ell_p$-regression, a corollary of our results is that for all $p \in [1, \infty)$ we can solve the $\ell_p$-regression problem without using general convex programming, that is, since our subspace embeds into $\ell_{\infty}$ it suffices to solve a linear programming problem. Finally, we give the first protocols for the distributed $\ell_p$-regression problem for every $p \geq 1$ which are nearly optimal in communication and computation.

研究の動機と目的

• p > 2 の場合に、p-安定分布に依存する従来の手法が失敗するため、ℓ_p-回帰における効率的でオーバーなサブスペース埋め込みの欠如に対処する。
• 既存の ℓ₁からℓ₁への埋め込みの歪みを Õ(d³) から Õ(d²) に改善し、さらに d = Ω(log n) のときには Õ(d^{3/2})log^{1/2}n にまで向上させ、MengとMahoneyが提起した未解決問題に答えること。
• すべての p ≥ 1 に対して、通信量と計算量の両面でほぼ最適な分散型 ℓ_p-回帰プロトコルを設計し、大規模な回帰問題へのスケーラビリティを実現すること。
• すべての p ∈ [1, ∞) ∩ {2} に対して、(1+ε)-近似 ℓ_p-回帰を poly(d/ε) 時間で解くアルゴリズムを提供し、従来の poly(d/ε) 要因を改善すること。
• すべての p ∈ [1, ∞) に対して、ℓ_p-回帰を ℓ_∞ に埋め込むことで線形計画法に還元し、一般の凸計画法を回避できることを示すこと。

提案手法

• 指数分布を用いた新しいオーバーなサブスペース埋め込み行列 Π を提案し、すべての p ∈ [1, ∞) に対して多項式時間の歪みを達成する。
• Π を max(1, n^{1-2/p})poly(d) 行と n 列で構築し、すべての x ∈ ℝ^d に対して、‖Mx‖_p ≤ ‖ΠMx‖_∞ ≤ poly(d)‖Mx‖_p が成り立つように保証する。
• 指数分布の構造とスパースサンプリングを活用することで、ΠM の計算に最適な O(nnz(M)) 時間を達成する。
• ℓ_∞ への埋め込みを用いて ℓ_p-回帰を線形計画法に還元し、p ∈ [1, ∞) に対して一般の凸計画法を回避する。
• 各マシンが局所的な埋め込みを計算し、サンプリングされた行のみを送信する分散プロトコルを設計し、階層的サンプリングと QR 分解により通信量を最小化する。
• Lemma 7 と Lemma 10 を活用し、各サイトで定数倍の歪みを持つ埋め込みを計算し、QR 分解によりグローバルな良好な条件の基底を構築する。

実験結果

リサーチクエスチョン

• RQ1 p ∈ [1, ∞) すべてに対して、p-安定分布に依存せず、p > 2 の場合にも有効なオーバーなサブスペース埋め込みを構築することは可能か？
• RQ2 O(nnz(M)) 時間で実現可能な ℓ₁からℓ₁への埋め込みにおける、達成可能な最良の歪みは何か？ かつ、Õ(d³) を超えて改善可能か？
• RQ3 すべての p ≥ 1 に対して、通信効率的かつ計算的にスケーラブルな分散型 ℓ_p-回帰プロトコルを設計可能か？
• RQ4 すべての p ∈ [1, ∞) に対して、一般の凸計画法を回避して線形計画法のみで ℓ_p-回帰を解くことは可能か？
• RQ5 すべての p ∈ [1, ∞) ∩ {2} に対して、O(nnz(M)log n) + poly(d/ε) 時間で (1+ε)-近似 ℓ_p-回帰を達成可能か？

主な発見

• 本稿では、指数分布を用いたオーバーなサブスペース埋め込みを構築し、すべての p ∈ [1, ∞) に対して多項式時間の歪みを達成する。埋め込みの行数は O(max(1, n^{1-2/p})poly(d)) である。
• 埋め込み ΠM は最適な O(nnz(M)) 時間で計算可能であり、回帰問題の高速な前処理を可能にする。
• ℓ₁からℓ₁への埋め込みにおいて、歪みは Õ(d³) から Õ(d²) に改善され、さらに d = Ω(log n) のときには Õ(d^{3/2})log^{1/2}n にまで向上し、MengとMahoneyが提起した未解決問題を解決した。
• すべての p ∈ [1, ∞) ∩ {2} に対して、(1+ε)-近似 ℓ_p-回帰アルゴリズムが O(nnz(M)log n) + poly(d/ε) 時間で達成可能であり、従来の poly(d/ε) 要因を改善した。
• すべての p ∈ [1, ∞) に対して、ℓ_p-回帰問題は ℓ_∞ に埋め込むことで線形計画法に還元可能であり、一般の凸計画法の必要性が排除される。
• 本稿では、すべての p ≥ 1 に対して、通信コストと計算コストの両面でほぼ最適な分散型 ℓ_p-回帰プロトコルを初めて提案した。総通信コストは O(kd^{2+γ} + d^5 log²d + d^{3+p}log(1/ε)/ε²) であり、総実行時間は O(nnz(Ṁ)log n + kd^{2+γ} + d^{7-p/2}log^{3-p/2}d + φ(O(d^{2+p}log(1/ε)/ε²), d)) である。