[論文レビュー] Analysis of a randomized approximation scheme for matrix multiplication

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Nov 23, 2012

Mathematical Approximation and Integration参考文献 2被引用数 4

ひとこと要約

この論文は、ハダマード行列とラデマッハ行列を用いたランダム直交変換の後、一様な列抽出を施すことで、行列積 $AB^T$ の効率的な近似推定を可能にする確率的近似スキームを提示する。主な貢献は、$n = \Omega\left(\frac{(k + \log m)\log k}{\varepsilon^2}\right)$ 個のサンプルで、$\|\widehat{AB^T} - AB^T\| \leq \varepsilon\|A\|\|B\|$ が高確率で成立することを示すスペクトルノルム誤差バウンドであり、$k$ は行列のコherenceに関連するランクの測度である。

ABSTRACT

This note gives a simple analysis of a randomized approximation scheme for matrix multiplication proposed by Sarlos (2006) based on a random rotation followed by uniform column sampling. The result follows from a matrix version of Bernstein's inequality and a tail inequality for quadratic forms in subgaussian random vectors.

研究の動機と目的

• 高次元性のため直接計算が困難な大規模行列積 $AB^T$ の近似を、効率的な確率的アルゴリズムで開発すること。
• ハダマード行列とラデマッハ行列を用いたランダム直交変換の後、一様な列抽出を施すスキームのスペクトルノルム誤差を分析すること。
• 近似の高確率誤差バウンドを厳密に提供し、従来のフロベニウスノルム解析を改善するとともに、以前の研究における非一様なサンプリングを用いた欠陥を是正すること。
• 所望の誤差許容値 $\varepsilon$ を満たしつつ、サンプル列数 $n$ を最小限に抑えるための条件を確立すること。

提案手法

• 本手法は、$\Theta = \frac{1}{\sqrt{m}}DH$ と定義されるランダム直交行列 $\Theta$ を用いて、入力行列 $A$ および $B$ を回転させる。ここで $D$ は独立同分布のラデマッハ変数からなる対角行列であり、$H$ はハダマード行列である。
• 高速変換を用いることで、$\tilde{A} = A\Theta$ および $\tilde{B} = B\Theta$ の計算に $O((d_A + d_B)m\log m)$ 時間がかかる。
• 一様に独立同分布の列ペア $(\tilde{a}_{i_j}, \tilde{b}_{i_j})$ を $\tilde{A}$ および $\tilde{B}$ から抽出し、無偏推定量として $\widehat{AB^T} = \frac{m}{n}\sum_{j=1}^n \tilde{a}_{i_j}\tilde{b}_{i_j}^T$ を計算する。
• 誤差は、回転された列から構築した対称ランダム行列 $X$ にマトリクスベルヌーイ不等式を適用することで分析され、部分ガウス型二次形式からの尾部バウンドが導出される。
• 重要な量として、$\mu = m \cdot \max_i(\|q_i\|^2, \|r_i\|^2)$ が定義され、ここで $q_i, r_i$ は正規化された回転列である。この $\mu$ は、部分ガウス型ベクトルの集中不等式を用いてバウンドされる。
• 高確率での $\mu$ のバウンドとマトリクスベルヌーイ不等式の結果を統合するためのユニオンバウンドが適用され、最終的なスペクトルノルム誤差バウンドが導出される。

実験結果

リサーチクエスチョン

• RQ1 ランダム回転 followed by 一様な列抽出を用いた確率的行列乗算スキームのスペクトルノルム誤差は何か？
• RQ2 高確率で近似誤差が $\varepsilon\|A\|\|B\|$ 以内に収まるために必要なサンプル数 $n$ はどれくらいか？
• RQ3 非一様なサンプリングを用いたが回転を施さない従来の研究に見られる欠陥を是正する、より厳密でタイトな解析を提供できるか？
• RQ4 行列のコherence、$k = \max(\operatorname{tr}(AA^T)/\|A\|^2, \operatorname{tr}(BB^T)/\|B\|^2)$ で測定されるが、その影響により必要なサンプル複雑度はどのように変化するか？

主な発見

• 確率 $1 - \delta$ 以上で、$\|\widehat{AB^T} - AB^T\| \leq \|A\|\|B\|\left(\sqrt{\frac{4(\mu+1)\ln(6k/\delta)}{n}} + \frac{2(\mu+1)\ln(6k/\delta)}{3n}\right)$ のスペクトルノルム誤差バウンドが達成される。
• 高確率で $\|\widehat{AB^T} - AB^T\| \leq \varepsilon\|A\|\|B\|$ を満たすためのサンプル複雑度は $n = \Omega\left(\frac{(k + \log m)\log k}{\varepsilon^2}\right)$ であり、$k$ は $AA^T$ および $BB^T$ の正規化されたトレースの最大値である。
• マトリクスベルヌーイ不等式に用いられるランダム行列 $X$ の $\mathbb{E}[X^2]$ を適切にバウンドすることで、[HKZ12a] の誤ったバウンドを是正した。
• $\mu$ のバウンドは、$\Pr[\mu > k + 2\sqrt{k\ln(3m/\delta)} + 2\ln(3m/\delta)] \leq 2\delta/3$ が、$\Theta$ の高確率で成立することを示している。
• この手法は、$\sqrt{m}\Theta e_i$ の部分ガウス型性を活用し、部分ガウス型ベクトルにおける二次形式による集中不等式を可能としている。