[論文レビュー] The Fast Cauchy Transform: with Applications to Basis Construction, Regression, and Subspace Approximation in L1

Kenneth L. Clarkson, Petros Drineas+4 more|arXiv (Cornell University)|Jul 19, 2012

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、n×d の入力行列 A とベクトル b から、S = O(d log d) のコアセットを構築することで、ℓ₁回帰および関連問題の高速化を図る、新しい手法である Fast Cauchy Transform を提案する。アルゴリズムは O(nd log n) 時間で実行され、コーシー分布に従う確率的変数を用いたサブスペース埋め込みと、Johnson-Lindenstrauss型変換を組み合わせることで、p=1 および一般の p∈[1,∞) に対して、従来の手法に比べ顕著に高速化を実現する。

ABSTRACT

We give fast algorithms for $\ell_p$ regression and related problems: for an $n imes d$ input matrix $A$ and vector $b\in\R^n$, in $O(nd\log n)$ time we reduce the problem $\min_{x\in\R^d} orm{Ax-b}_p$ to the same problem with input matrix $ ilde A$ of dimension $S imes d$ and corresponding $ ilde b$ of dimension $S imes 1$; $ ilde A$ and $ ilde b$ are a \emph{coreset} for the problem, consisting of sampled and rescaled rows of $A$ and $b$. Here $S$ is independent of $n$, and polynomial in $d$. Our results improve on the best previous algorithms when $n\gg d$, for all $p\in [1,\infty)$ except $p=2$, in particular the $O(nd^{1.376+})$ running time of Sohler and Woodruff (STOC, 2011) for $p=1$, that uses asymptotically fast matrix multiplication, and the $O(nd^5\log n)$ time of Dasgupta \emph{et al.} (SODA, 2008) for general $p$. We also give a detailed empirical evaluation of implementations of our algorithms for $p=1$, comparing them with several related algorithms. Among other things, our results clearly show that the practice follows the theory closely, in the asymptotic regime. In addition, we show near-optimal results for $\ell_1$ regression problems that are too large for any prior solution methods. Our algorithms use our faster constructions of well-conditioned bases for $\ell_p$ spaces, and for $p=1$, a fast subspace embedding: a matrix $\Pi: \R^n\mapsto \R^{O(d\log d)}$, found obliviously to $A$, that approximately preserves the $\ell_1$ norms of all vectors in $\{Ax\mid x\in\R^d\}$; that is, $ orm{Ax}_1 \approx orm{\Pi Ax}_1$, for all $x$, with distortion $ ilde O(d^2)$. Moreover, $\Pi A$ can be computed in $O(nd\log d)$ time. Our techniques include fast Johnson-Lindenstrauss transforms, low coherence matrices, and rescaling by Cauchy random variables.

研究の動機と目的

• 大規模な n と中程度の d に対して、効率的にスケーリングする実用的で高速な ℓ₁回帰アルゴリズムの開発。
• 低歪みを伴う高速なサブスペース埋め込みを可能にする、ℓ₁空間における良好に条件付けられた基底の構築。
• 一般の p に対して ℓ₁回帰の計算コストを O(nd⁵ log n) から O(nd log n) に削減しながら、近似的に最適な精度を維持すること。
• ℓ₁問題における次元削減にコーシー確率的変数を用いる理論的かつ実験的根拠の提供。
• 理論的な性能向上が、大規模データセット上で実際の高速化にどのように反映されるかの実証。

提案手法

• すべての x ∈ ℝ^d に対して Ax の ℓ₁ノルムを近似的に保持する、Π ∈ ℝ^{O(d log d)×n} のサブスペース埋め込み行列を Fast Cauchy Transform を用いて構築する。
• i.i.d. のコーシー確率的変数によるスケーリングを用いることで、ℓ₁空間における安定的かつ良好に条件付けられた基底の構築を実現する。
• 高速な Johnson-Lindenstrauss 変換を用いて次元を削減し、歪み Õ(d²) を維持しながら ℓ₁構造を保存する。
• A と b の行をサンプリングおよびスケーリングすることで、S = O(d log d) のコアセットを構築し、元の ℓ₁回帰問題を近似的に再現する。
• ΠA の計算を O(nd log d) 時間で実行し、以降の回帰やサブスペース近似のための効率的な前処理を可能にする。
• 低コherence行列の構築とランダム化次元削減を組み合わせることで、数値的安定性と高速計算を両立する。

実験結果

リサーチクエスチョン

• RQ1 歪み Õ(d²) で ℓ₁ノルムを保ち、計算時間 O(nd log d) で実行可能な、ℓ₁ノルムのための高速なサブスペース埋め込みを構築できるか？
• RQ2 Fast Cauchy Transform を用いることで、O(nd log n) 時間で ℓ₁回帰を S = O(d log d) の小さなコアセットに還元できるか？
• RQ3 特に大規模データセットにおいて、提案手法の性能は従来手法と比べてどのように異なるか？
• RQ4 理論的な高速化が、実世界のデータにおいてどれほど実際の高速化に反映されるか？
• RQ5 既存のソルバーが処理できないほど大規模な ℓ₁回帰問題に対しても、本手法はスケーラブルか？

主な発見

• Fast Cauchy Transform は、S = O(d log d) のコアセットを O(nd log n) 時間で構築し、ℓ₁回帰をより小さな同等の問題に還元する。
• A の列空間に属するすべてのベクトルの ℓ₁ノルムを Õ(d²) の歪みで保存するため、高精度な近似が可能である。
• ΠA の計算に O(nd log d) 時間を要し、一般の p に対して従来の O(nd⁵ log n) 時間と比べ顕著に高速化される。
• p=1 の場合、Sohler と Woodruff (2011) の O(nd^{1.376+}) 時間手法を上回り、n ≫ d の場合に特に顕著である。
• 実験的評価により、理論的な性能向上が実際の実行速度向上に反映されていることが確認され、大規模データセットにおいて優れたスケーラビリティを示す。
• 従来のアルゴリズムでは処理できないほど大規模な ℓ₁回帰問題に対しても、近似的に最適な回帰を実現可能であり、大規模スケールでの実用的妥当性を示している。