[論文レビュー] Improved matrix algorithms via the Subsampled Randomized Hadamard Transform

Christos Boutsidis, Alex Gittens|arXiv (Cornell University)|Mar 31, 2012

Sparse and Compressive Sensing Techniques参考文献 36被引用数 8

ひとこと要約

この論文は、部分抽出ランダム化ハダマード変換（SRHT）を用いて低ランク行列近似アルゴリズムを改善し、先行研究よりもタイトなフロベニウスノルムおよびスペクトルノルムの誤差バインディングを達成している。特に、妥当な特異値の減衰が見られる条件下で、より鋭い理論的保証を提供しており、実験的にもそのバインディングを検証しており、SRHTによる近似が計算コストを著しく削減しながらもほぼ最適な精度に達していることが示されている。

ABSTRACT

Several recent randomized linear algebra algorithms rely upon fast dimension reduction methods. A popular choice is the Subsampled Randomized Hadamard Transform (SRHT). In this article, we address the efficacy, in the Frobenius and spectral norms, of an SRHT-based low-rank matrix approximation technique introduced by Woolfe, Liberty, Rohklin, and Tygert. We establish a slightly better Frobenius norm error bound than currently available, and a much sharper spectral norm error bound (in the presence of reasonable decay of the singular values). Along the way, we produce several results on matrix operations with SRHTs (such as approximate matrix multiplication) that may be of independent interest. Our approach builds upon Tropp's in "Improved analysis of the Subsampled Randomized Hadamard Transform".

研究の動機と目的

• 部分抽出ランダム化ハダマード変換（SRHT）を用いた低ランク行列近似の理論的誤差バインディングを改善すること。
• 特に、妥当な特異値の減衰が見られる条件下で、既存の解析よりもタイトなフロベニウスノルムおよびスペクトルノルムの誤差バインディングを提供すること。
• 近似行列乗算などのSRHTに基づく行列演算の有効性を分析し、独立して有用な可能性を示すこと。
• 数値実験を通じて理論的バインディングを検証し、予測された誤差バインディングと実際の性能を比較すること。
• SRHTに基づく近似が、$ r $ が $ k $ に対して線形である場合に、計算コストの削減を伴いながらもほぼ最適な精度に達していることを示すこと。

提案手法

• SRHT行列 $ \bm{\theta} = \tfrac{1}{\tfrac{r}{n}} \bm{R} \bm{H} \bm{D} $ を利用する。ここで $ \bm{H} $ は正規化されたハダマード行列、$ \bm{D} $ はランダムな符号を対角成分に持つ行列、$ \bm{R} $ は一様にランダムに $ r $ 行を選択する行列である。
• SRHTを用いて行列 $ \bm{M} $ を低次元部分空間に投影する。$ \bm{Y} = \bm{M} \bm{\theta} $ により、効率的な低ランク近似が可能になる。
• 確率的数値線形代数の技術を用い、得られた近似 $ \bm{Y} \bm{Y}^\top $ のフロベニウスノルムおよびスペクトルノルム誤差を、最良のランク$ k $ 近似 $ \bm{M}_k $ に対してバインディングする。
• 行列集中不等式とトロップの解析結果を用いて、特にスペクトルノルムに対して誤差バインディングを精緻化する。
• スペクトルノルムの残差誤差に対するバインディングを導出する：$ \| \bm{M} - \bm{Y} \bm{Y}^\dagger \bm{M} \|_2 \leq \left(1 + \sqrt{\frac{\ln(n/\delta) \ln(\rho/\delta)}{r}} \right) \| \bm{M} - \bm{M}_k \|_2 + \sqrt{\frac{\ln(\rho/\delta)}{r}} \| \bm{M} - \bm{M}_k \|_\mathrm{F} $、高確率で成立。
• 理論的バインディングを、複数の試行および異なる行列タイプにおいて、予測された誤差バインディングと観測されたスペクトルノルム残差誤差を比較することで、実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 SRHTに基づく低ランク近似のフロベニウスノルム誤差バインディングは、既存の結果を上回る改善が可能か？
• RQ2 特異値が妥当に減衰する場合、SRHT近似のスペクトルノルム誤差バインディングはどの程度タイトか？
• RQ3 理論的誤差バインディングは、実際の性能とどの程度一致するか？
• RQ4 $ r $ が $ k $ に対して線形である場合、SRHTはほぼ最適な低ランク近似精度に達することができるか？また、理論的予測と比べてどうなるか？
• RQ5 行列の構造（例えば特異値の減衰）が、SRHTに基づく近似の精度に果たす役割は何か？

主な発見

• 先行研究と比較して、わずかに改善されたフロベニウスノルム誤差バインディングを確立しており、SRHT近似の品質に関する理論的理解を深めている。
• 特に特異値が妥当に減衰する場合、従来の解析よりもはるかに鋭いスペクトルノルム誤差バインディングを提供している。
• スペクトルノルム誤差バインディングは、$ \| \bm{M} - \bm{Y} \bm{Y}^\dagger \bm{M} \|_2 \leq \left(1 + \sqrt{\frac{\ln(n/\delta) \ln(\rho/\delta)}{r}} \right) \| \bm{M} - \bm{M}_k \|_2 + \sqrt{\frac{\ln(\rho/\delta)}{r}} \| \bm{M} - \bm{M}_k \|_\mathrm{F} $ の形を取り、確率 $ 1 - \delta $ 以上で成立する。
• 数値実験の結果、理論的バインディングは楽観的であることが示された：最適な定数を仮定しても、実際のスペクトルノルム残差誤差は常に予測値を下回っている。
• $ r \approx 2[\sqrt{k} + \sqrt{\ln(2n)}]^2 \ln(2k) $ の場合、実験的誤差は最良のランク$ k $ 近似とほとんど区別がつかないため、$ r $ が $ k $ に対して線形であっても高精度が達成可能であると示唆されている。
• 結果から、計算コストの削減が重要な大規模な問題において、SRHTに基づく近似は非常に有効であることが示された。たとえ絶対的な精度が最適でない場合でも、実用的価値は極めて高い。