[論文レビュー] $\ell_p$ Row Sampling by Lewis Weights

Michael B. Cohen, Richard Peng|arXiv (Cornell University)|Dec 1, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用数 7

ひとこと要約

本稿では、レヴィッツ重みを用いたℓ_p行抽出のための入力スパarsity時間アルゴリズムを初めて提示する。これにより、ℓ_pノルムにおける行列-ベクトル積の効率的近似が可能になる。ℓ₁に対しては最適なサンプルサイズO(d log d)を達成し、他のℓ_pノルムに対しても近似的に最適な境界を達成する。実行時間は行列のスパarsityおよび行列乗算指数に依存する。

ABSTRACT

We give a simple algorithm to efficiently sample the rows of a matrix while preserving the p-norms of its product with vectors. Given an $n$-by-$d$ matrix $\boldsymbol{\mathit{A}}$, we find with high probability and in input sparsity time an $\boldsymbol{\mathit{A}}'$ consisting of about $d \log{d}$ rescaled rows of $\boldsymbol{\mathit{A}}$ such that $\| \boldsymbol{\mathit{A}} \boldsymbol{\mathit{x}} \|_1$ is close to $\| \boldsymbol{\mathit{A}}' \boldsymbol{\mathit{x}} \|_1$ for all vectors $\boldsymbol{\mathit{x}}$. We also show similar results for all $\ell_p$ that give nearly optimal sample bounds in input sparsity time. Our results are based on sampling by "Lewis weights", which can be viewed as statistical leverage scores of a reweighted matrix. We also give an elementary proof of the guarantees of this sampling process for $\ell_1$.

研究の動機と目的

• レヴィッツ重みを用いたℓ_p行抽出のための、初めての多項式時間かつ入力スパarsity時間アルゴリズムを開発すること。
• 少数のスケーリング済み行を用いて、ℓ_pノルムにおける行列-ベクトル積を効率的に近似する実用的で効率的な手法を提供すること。
• 特にℓ₁に対して、レヴィッツ重みに基づく抽出の理論的保証を一般のℓ_pノルムに拡張し、最適なサンプル複雑度を達成すること。
• 特にℓ₁および1 ≤ p ≤ 2のℓ_pに対して、先行手法と比較して実行時間とサンプルサイズを削減すること。
• 繰り返し統計的リーディングスコアの計算を用いて、レヴィッツ重みを近似的に求める単純な反復アルゴリズムを提示すること。

提案手法

• 再重み付けされた行列の2近似統計的リーディングスコアを繰り返し計算する反復アルゴリズムを用いて、近似的なレヴィッツ重みを算出する。
• 近似されたレヴィッツ重みを、入力行列Aの行の抽出確率として使用する。
• AからO(d log d ε⁻²)個のスケーリング済み行を抽出してA′を構築し、すべてのx ∈ ℝ^dに対して||Ax||_p ≈_{1+ε} ||A'x||_pが成り立つようにする。
• マトリクス・チルノフ型の不等式とラデマッハ複雑度を用いて、抽出プロセスの濃度を証明する。
• レヴィッツ重みによる密度変換を適用し、ℓ_p設定におけるリーディングスコアに類似した行重みを割り当てる。
• p > 2およびp ≈ 4の場合、理論的保証を維持するために、より高い実行時間を伴うが、エンタープライズアルゴリズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 入力スパarsity時間で効率的にレヴィッツ重みを計算でき、ℓ_p行抽出を可能にするか？
• RQ2 特にℓ₁に対して、レヴィッツ重みを用いたℓ_p行抽出の最適なサンプルサイズは何か？
• RQ3 近似的に最適なサンプル複雑度を維持しながら、ℓ_p行抽出の実行時間をほぼ入力スパarsity時間にまで短縮できるか？
• RQ4 タラグランドおよびレヴィッツ重みに基づく抽出の理論的保証を、アルゴリズム的に有効にできるか？
• RQ5 異なるp値において、ℓ_p行抽出のサンプルサイズと実行時間のトレードオフは何か？

主な発見

• 本稿では、ℓ₁行抽出に対してO(d log d)のサンプルサイズを達成し、対数要因を除いて理論的下界と一致する。
• ℓ₁に対して、アルゴリズムの実行時間はO(nnz(A) + d^{ω+θ})時間である。ここでωは行列乗算指数、θ > 0は任意の定数である。
• 本手法は、最適なサンプルサイズを達成する最初の入力スパarsity時間アルゴリズムであり、従来のO(d^{3.66})実行時間の手法を改善する。
• 1 < p < 2の場合、サンプル数はO(d log d ε⁻²)であり、実行時間はほぼ入力スパarsity時間で、d^{ω+θ}項が付加される。
• p > 2の場合、サンプルサイズはd^{p/2(1+θ)+C}に増加し、特にp ≈ 4付近で実行時間が著しく増加する。これはエンタープライズアルゴリズムの使用に起因する。
• 追加のO(nnz(A) log n)項を含むことで、純粋な入力スパarsity時間実行時間を達成するためのトレードオフをサポートする。