[論文レビュー] A fast algorithm for computing minimal-norm solutions to underdetermined systems of linear equations

Mark Tygert|ArXiv.org|May 28, 2009

Sparse and Compressive Sensing Techniques参考文献 11被引用数 10

ひとこと要約

本稿では、$ m < n $ である不定線形方程式系 $ A\mathbf{p} = \mathbf{b} $ の最小ノルム解を、$ \mathcal{O}(mn\log(\sqrt{n}/\varepsilon) + m^3) $ の演算で高速に計算する確率的アルゴリズムを提示する。これは、$ n \gg m $ の場合に古典的手法（QR やバイディアゴナライゼーション）の $ \mathcal{O}(m^2n) $ よりも著しく高速である。本手法は、部分的にサンプリングされたランダム化フーリエ変換（SRFT）を用いて行列・ベクトル積を高速化し、高い確率で高精度の解を得ることに成功している。

ABSTRACT

We introduce a randomized algorithm for computing the minimal-norm solution to an underdetermined system of linear equations. Given an arbitrary full-rank m x n matrix A with m

研究の動機と目的

• 不定線形方程式系 $ A\mathbf{p} = \mathbf{b} $ に対して、$ m < n $ の条件下で最小ユークリッドノルム解を高速に計算するアルゴリズムの開発。
• QR やバイディアゴナライゼーション手法の古典的 $ \mathcal{O}(m^2n) $ の計算コストを下回る計算コストの低減。
• 高い確率で相対誤差 $ \leq \varepsilon $ の高精度解を得るための確率的アプローチの実現。
• $ n \gg m $ である大規模な不定線形方程式系の効率的解法を可能にすること。これは現代のデータ解析で一般的な状況である。

提案手法

• アルゴリズムは、任意のベクトルへの $ A $ および $ A^* $ の高速適用を可能にするために、部分的にサンプリングされたランダム化フーリエ変換（SRFT）を用いる。これにより、行列・ベクトル積のコストが低減される。
• 問題を低次元空間に射影するための確率的前処理ステップとして、SRFTを用いて解の構造を保持する。
• 集中法則に基づく誤差バインディングを用い、反復的精製により射影された方程式系を解くことで、近似解を計算する。
• SRFT行列 $ T_{l \times n} = G_{l \times n} H_{n \times n} $ は、ランダムサンプリング、離散フーリエ変換、およびランダムな対角スケーリングを組み合わせ、高速かつ安定した変換を実現する。
• 理論的バインディング（補題3.1、補題5.2、定理5.4）に依拠し、$ l \approx 4m $ の条件下で高確率での成功を保証する。
• 射影された方程式系上で共役勾配法を反復的に用いて解を精製することで、低コストで高精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 古典的手法（QR やバイディアゴナライゼーション）よりも、確率的アルゴリズムが不定線形方程式系の最小ノルム解を高速に計算できるか。
• RQ2 ランダム射影を用いた場合、高精度な最小ノルム解を計算するための計算コストはどの程度か。
• RQ3 特に $ n \gg m $ の場合に、ランダム化SRFTに基づくアルゴリズムの性能は $ m $ および $ n $ に対してどのようにスケーリングするか。
• RQ4 失敗確率はどの程度で、ランダム行列理論を用いてどのようにバインディングできるか。
• RQ5 $ A $ および $ A^* $ がベクトルに迅速に作用できる場合、アルゴリズムをさらに高速化できるか。

主な発見

• 高確率で相対誤差 $ \|\mathbf{x} - \mathbf{p}\| \leq \varepsilon \|\mathbf{p}\| $ を達成し、$ \mathbf{p} $ は最小ノルム解である。
• $ m = 512 $、$ n = 16384 $、条件数 $ \kappa_A = 10^6 $ の場合、アルゴリズムは全倍精度で古典的QR法の3倍速く動作した。
• $ n = 16384 $ の場合、$ m = 512 $ で古典的手法を3倍速く、$ n $ が増加するにつれてスループットの向上が顕著に見られた。
• 10回の試行における平均実行時間は安定しており、$ \varepsilon_{\rm r} $ の値は $ 1.1 \times 10^{-15} $ から $ 2.9 \times 10^{-14} $ の範囲に収まっており、高精度性が裏付けられた。
• $ l = 4m $ の選択により、失敗確率は無視できるほど小さく、広範な数値実験でも失敗は観測されなかった。
• アルゴリズムの計算コスト $ \mathcal{O}(mn\log(\sqrt{n}/\varepsilon) + m^3) $ は、$ n \gg m $ の場合に古典的 $ \mathcal{O}(m^2n) $ よりも漸近的に低くなる。