[論文レビュー] Low Rank Matrix-Valued Chernoff Bounds and Applications

Avner Magen, Anastasios Zouzias|arXiv (Cornell University)|May 18, 2010

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、スペクトルノルムにおける行列積の近似を高確率で効率的に行うために、低ランク行列値チェルノフ不等式を導入する。非一様な行のサンプリングまたはランダムな線形結合を用いることで、入力行列の安定ランクにのみ依存する誤差バウンドを達成し、低ランクおよび構造的行列においてスケーラビリティと精度を著しく向上させる。

ABSTRACT

In this paper we develop algorithms for approximating matrix multiplication with respect to the spectral norm. Let A\in{\RR^{n imes m}} and B\in\RR^{n imes p} be two matrices and \eps>0. We approximate the product A^ op B using two down-sampled sketches, ilde{A}\in\RR^{t imes m} and ilde{B}\in\RR^{t imes p}, where t\ll n such that orm{ ilde{A}^ op ilde{B} - A^ op B} \leq \eps orm{A} orm{B} with high probability. We use two different sampling procedures for constructing ilde{A} and ilde{B}; one of them is done by i.i.d. non-uniform sampling rows from A and B and the other is done by taking random linear combinations of their rows. We prove bounds that depend only on the intrinsic dimensionality of A and B, that is their rank and their stable rank; namely the squared ratio between their Frobenius and operator norm. For achieving bounds that depend on rank we employ standard tools from high-dimensional geometry such as concentration of measure arguments combined with elaborate \eps-net constructions. For bounds that depend on the smaller parameter of stable rank this technology itself seems weak. However, we show that in combination with a simple truncation argument is amenable to provide such bounds. To handle similar bounds for row sampling, we develop a novel matrix-valued Chernoff bound inequality which we call low rank matrix-valued Chernoff bound. Thanks to this inequality, we are able to give bounds that depend only on the stable rank of the input matrices...

研究の動機と目的

• スペクトルノルムに関して、行列積を近似するための効率的アルゴリズムの開発。
• 入力行列の行をサンプリングまたはスケッチングすることで計算コストを低減しながらも、精度を維持する。
• 誤差バウンドを入力行列の固有次元性、特に安定ランクにのみ依存するように導出する。
• 低ランクまたは構造的行列を取り扱う際の、従来の集中法の限界を克服する。
• 低ランク設定に特化した、新たな行列値チェルノフ不等式を確立する。

提案手法

• 本手法は、2つの異なるスケッチ手順を採用する：i.i.d. な非一様な行のサンプリング、および行列 A と B の行のランダムな線形結合。
• 近似された積のスペクトルノルム誤差を分析するため、新たな低ランク行列値チェルノフ不等式を導入する。
• 測度の集中とエpsilonネット構成を用いて、行列ランクに依存するバウンドを導出する。
• ランクからより頑健な安定ランクパラメータへのバウンドの拡張のために、切断引数を適用する。
• 理論的分析では、高次元幾何学と行列集中不等式を組み合わせ、高確率での誤差保証を確保する。
• このアプローチにより、||ÃᵀB̃ − AᵀB|| ≤ ε||A|| ||B|| が高確率で成立することが保証される。ここで t ≪ n である。

実験結果

リサーチクエスチョン

• RQ1 行列積は、入力行列の安定ランクにのみ依存するスペクトルノルム誤差バウンドで、効率的に近似可能か？
• RQ2 標準的な集中ツールは、行列スケッチにおいて低ランク依存バウンドを達成するためにどのように適合可能か？
• RQ3 どのような新しい行列値チェルノフ不等式が、低ランク設定におけるより緊密な誤差制御を可能にするか？
• RQ4 行列積の文脈において、行のサンプリングとランダム線形スケッチの誤差および安定性の観点での比較は何か？
• RQ5 切断技術は、ランクベースと安定ランクベースの誤差バウンドのギャップを埋めることができるか？

主な発見

• 提案手法は、t ≪ n 個のスケッチ行を用いて、高確率でスペクトルノルム近似誤差 ||ÃᵀB̃ − AᵀB|| ≤ ε||A|| ||B|| を達成する。
• 新たな低ランク行列値チェルノフ不等式が導出され、安定ランクに依存する誤差バウンドを可能にする。
• 理論的保証は、A と B の安定ランクにのみ依存するため、低ランクおよび悪条件の行列に対しても頑健である。
• 切断の使用により、ランクベースの集中議論をより一般的な安定ランク設定に拡張可能である。
• 非一様サンプリングとランダム線形スケッチの両方が、同じ安定ランク仮定下で同等の誤差バウンドを達成する。
• 実際の応用において、安定ランクはランクよりもより情報量の多い複雑さのパラメータであることが示された。