[論文レビュー] Error Bounds for Random Matrix Approximation Schemes

Alex Gittens, Joel A. Tropp|ArXiv.org|Nov 20, 2009

Matrix Theory and Algorithms参考文献 18被引用数 19

ひとこと要約

本稿は、分散に基づく集中とLataaのスペクトルノルム誤差に関する結果を用いて、∞→1および∞→2作用素ノルムにおけるランダム行列スパース化スキームの最初の誤差バウンドを確立した。独立かつ不偏なランダム近似に対して一般化可能で最適なバウンドを提供し、先行研究におけるスキーム特有の解析と比較して競争力のある性能保証を達成した。

ABSTRACT

Randomized matrix sparsification has proven to be a fruitful technique for producing faster algorithms in applications ranging from graph partitioning to semidefinite programming. In the decade or so of research into this technique, the focus has been--with few exceptions--on ensuring the quality of approximation in the spectral and Frobenius norms. For certain graph algorithms, however, the $(\infty,1)$ norm may be a more natural measure of performance. This paper addresses the problem of approximating a real matrix A by a sparse random matrix X with respect to several norms. It provides the first results on approximation error in the $(\infty, 1)$ and $(\infty, 2)$ norms, and it uses a result of Latala to study approximation error in the spectral norm. These bounds hold for random sparsification schemes which ensure that the entries of X are independent and average to the corresponding entries of A. Optimality of the $(\infty, 1)$ and $(\infty,2)$ error estimates is established. Concentration results for the three norms hold when the entries of X are uniformly bounded. The spectral error bound is used to predict the performance of several sparsification and quantization schemes that have appeared in the literature; the results are competitive with the performance guarantees given by earlier scheme-specific analyses.

研究の動機と目的

• グラフスパース化やカラムサブセット選択において重要な∞→1および∞→2作用素ノルムにおけるランダム行列近似の理論的誤差バウンドの欠如に取り組む。
• エントリが独立かつ不偏であるようなランダム行列近似スキームに対して、一般で分布に依存しない誤差バウンドを提供する。
• 与えられたランダムスパース化フレームワーク下で導出された∞→1および∞→2ノルム誤差推定の最適性を確立する。
• Lataaの結果を用いてスペクトルノルム誤差解析を拡張し、スペクトルノルム近似誤差に対してタイトで最適なバウンドを導出する。
• 一般バウンドが先行研究におけるスキーム特有の解析（例：[AHK06], [AM07]）と同等の性能保証を達成できることを示す。

提案手法

• 列および行ごとのℓ2ノルム分解を用いて、期待される∞→1ノルム誤差バウンドを導出する：E‖A−X‖∞→1 ≤ 2[E‖Z‖col + E‖Zᵀ‖col]、ここでZ = A−X。
• フロベニウスノルムと対角スケーリング行列Dを用いて∞→2ノルム誤差バウンドを確立する：E‖A−X‖∞→2 ≤ 2E‖Z‖F + 2 min_D E‖ZD⁻¹‖2→∞ かつ trace(D²)=1。
• Lataaの結果を適用して最適なスペクトルノルム誤差バウンドを導出する：E‖A−X‖ ≤ C[max_j(∑_k Var(X_jk))^{1/2} + max_k(∑_j Var(X_jk))^{1/2} + (∑_jk E(X_jk−a_jk)^4)^{1/4}]。
• サブガウス分布の集中を用いて、有界エントリ仮定の下で∞→1、∞→2、およびスペクトルノルムにおける近似誤差の尾部バウンドを導出する。
• 既知のスキームに一般バウンドを適用して妥当性を検証する：Achlioptas–McSherryスパース化とArora–Hazan–Kale量子化／スパース化。
• エントリの大きさとエントリの分散（R = max |b/a_jk|）を用いてスパース化確率を最適化し、期待される非ゼロエントリ数を最小化しつつ誤差バウンドを維持する。

実験結果

リサーチクエスチョン

• RQ1 ランダム行列スパース化における∞→1および∞→2作用素ノルムの期待誤差バウンドは何か？
• RQ2 独立かつ不偏なエントリを持つ一般のランダムスパース化スキームにおいて、これらのノルムの最適誤差バウンドを導出できるか？
• RQ3 導出されたスペクトルノルム誤差バウンドは、[AHK06]および[AM07]におけるスキーム特有の解析結果とどのように比較されるか？
• RQ4 一般誤差バウンドを用いて、新規のスパース化および量子化スキームの分析と設計を可能にするか？
• RQ5 提案されたフレームワークにおいて、近似誤差とスパarsity（期待される非ゼロエントリ数）のトレードオフは何か？

主な発見

• 本稿は、期待される∞→1ノルム誤差に対する最初の一般バウンドを提供した：E‖A−X‖∞→1 ≤ 2[∑_k(∑_j Var(X_jk))^{1/2} + ∑_j(∑_k Var(X_jk))^{1/2}]。
• 期待される∞→2ノルム誤差に対する最初の一般バウンドを確立した：E‖A−X‖∞→2 ≤ 2(∑_jk Var(X_jk))^{1/2} + 2√m min_D max_j(∑_k Var(X_jk)/d_k²)^{1/2} かつ trace(D²)=1。
• Lataaの結果を用いてスペクトルノルム誤差バウンドが最適であることを示し、E‖A−X‖ ≤ C[max_j(∑_k Var(X_jk))^{1/2} + max_k(∑_j Var(X_jk))^{1/2} + (∑_jk E(X_jk−a_jk)^4)^{1/4}] が成り立つ。
• Achlioptas–McSherryスパース化スキームでは、一般バウンドにより高確率で誤差O(b√(n/p))が得られ、スキーム特有の結果と一致するが、より高い確率かつより少ない期待非ゼロエントリ数を達成する。
• Arora–Hazan–Kale量子化／スパース化スキームでは、一般バウンドにより高確率でO(δ)の誤差が得られ、スキーム特有の保証と一致するが、より一般化された導出が可能である。
• 新しい確率スキームでは、近似行列の期待非ゼロエントリ数が最小化され、∑_jk p_jk ≤ pnm × Avg[(a_jk/b)^2] が成り立ち、先行スキームを改善する。