[論文レビュー] Faster Least Squares Approximation

Petros Drineas, Michael W. Mahoney+2 more|arXiv (Cornell University)|Oct 7, 2007

Sparse and Compressive Sensing Techniques参考文献 19被引用数 16

ひとこと要約

本稿では、ランダム化ハダマード変換を用いてデータを事前処理した後、制約の均等なサンプリングまたはスパースランダム射影を適用することで、最小二乗近似を高速化する2つの確率的アルゴリズムを提示する。これらのアルゴリズムは、n ≫ d の大規模な場合に標準的な O(nd²) 時間よりも著しく高速な O(nd ln d) 時間で、最適な最小二乗解に対する相対誤差近似を達成する。

ABSTRACT

Least squares approximation is a technique to find an approximate solution to a system of linear equations that has no exact solution. In a typical setting, one lets $n$ be the number of constraints and $d$ be the number of variables, with $n \gg d$. Then, existing exact methods find a solution vector in $O(nd^2)$ time. We present two randomized algorithms that provide very accurate relative-error approximations to the optimal value and the solution vector of a least squares approximation problem more rapidly than existing exact algorithms. Both of our algorithms preprocess the data with the Randomized Hadamard Transform. One then uniformly randomly samples constraints and solves the smaller problem on those constraints, and the other performs a sparse random projection and solves the smaller problem on those projected coordinates. In both cases, solving the smaller problem provides relative-error approximations, and, if $n$ is sufficiently larger than $d$, the approximate solution can be computed in $O(nd \log d)$ time.

研究の動機と目的

• n ≫ d の大規模な過決定問題において、正確な最小二乗解の計算のボトル neck を解消すること。
• 最適な解ベクトルおよび残差ノルムに対して相対誤差保証を維持するより高速なアルゴリズムを開発すること。
• 従来の方法の O(nd²) 時間計算量を O(nd ln d) に低減しつつ、精度を保持すること。
• 構造的ランダム射影とサンプリングを用いた確率的アルゴリズムの理論的実行時間および誤差境界を提供すること。

提案手法

• 入力行列 A とベクトル b にランダム化ハダマード変換（RHT）を適用し、コheren センスを低減させ、効率的なサンプリングを可能にする。
• RHT 変換済みシステムから r 個の制約を均等にランダムサンプリングし、より小さい最小二乗問題を解く。
• スパarsity パラメータ q を持つスパースランダム射影行列 T を用いて、変換済みデータを低次元空間に射影する。
• サンプリングまたは射影されたデータ上で低次元最小二乗問題を解き、近似解ベクトルを取得する。
• 特異値分解（SVD）および正規方程式の性質を活用し、近似解を真の最適解に関連付ける。
• 集中不等式および行列尾部バウンド（例：マルコフの不等式）を用いて、残差および解ベクトルにおける期待誤差をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 ランダムサンプリングおよび射影技術を用いて、相対誤差保証を維持したまま最小二乗近似を高速化できるか？
• RQ2 残差ノルムにおいて (1+ε)-相対誤差を達成するには、最小で何個のサンプリングまたは射影された制約が必要か？
• RQ3 A の条件数および b が A の列空間とどれだけ整合しているかが、近似解の誤差に与える影響は何か？
• RQ4 ランダム化ハダマード変換を用いてデータを事前処理することで、均等なサンプリングまたはスパース射影により高精度な低ランク近似が得られるか？
• RQ5 このようなアルゴリズムの理論的実行時間は何か？また、n と d に対してどのようにスケーリングされるか？

主な発見

• 提案されたアルゴリズムは、確率 0.8 以上で、最適な残差ノルム ‖Ax−b‖₂ に対して (1+ε)-相対誤差近似を達成する。
• 解ベクトルの誤差は、‖x_opt − x̃_opt‖₂ ≤ √ε (κ(A)√(γ⁻²−1)) ‖x_opt‖₂ でバウンドされ、ここで γ は b のノルムのうち A の列空間内に占める割合である。
• n が d より十分に大きく、かつ e^d より小さい場合、アルゴリズムは O(nd ln d) 時間で実行され、標準的な O(nd²) 時間よりも顕著な高速化を実現する。
• アルゴリズムを O(log(1/δ)) 回繰り返すことで失敗確率を 1−δ に低下させられ、実行時間は定数倍増加するにとどまる。
• スパースランダム射影法では、期待される非ゼロ要素数が O(nkq) の行列 T を用い、時間計算量は O(nd) + O(nd log(nkq)) + O(kd²) でバウンドされる。
• 特に、Lemma 9 および Lemma 10 による射影内積の期待誤差に関する分析を通じて、集中バウンドおよび行列摂動解析を用いて理論的保証が確立されている。