[論文レビュー] Dimension-free tail inequalities for sums of random matrices

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Apr 9, 2011

Sparse and Compressive Sensing Techniques参考文献 27被引用数 12

ひとこと要約

本稿では、行列の次元をトレースに基づく数量に置き換えることで、次元に依存しない尾確率不等式を、ランダム行列の和に対して提示する。Liebの凹性トレース不等式と指数モーメント法の行列一般化を用いて、わずかに弱い尾部 $ t(e^t - t - 1)^{-1} $ を持つ境界を導出し、これは大きな $ t $ では $ e^{-t/2} $ と同様に振る舞う。この境界は、主成分分析や失敗確率に対数的依存性を示す近似行列乗算への応用に適用可能である。

ABSTRACT

We derive exponential tail inequalities for sums of random matrices with no dependence on the explicit matrix dimensions. These are similar to the matrix versions of the Chernoff bound and Bernstein inequality except with the explicit matrix dimensions replaced by a trace quantity that can be small even when the dimension is large or infinite. Some applications to principal component analysis and approximate matrix multiplication are given to illustrate the utility of the new bounds.

研究の動機と目的

• 既存の行列濃縮不等式が行列の次元に明示的に依存するという制限を解消し、無限次元設定への適用を可能にする。
• 行列次元の依存性を、トレースの第二モーメント行列のトレースのような内在的トレース量に置き換える一般枠組みを構築する。
• 主成分分析や近似行列乗算のような応用において、より鋭く実用的な境界を実現する。
• 標準の指数的境界と比較して、次元に依存しない濃縮を達成しつつ、尾部の減衰がわずかに劣化するが、漸近的には無視できる。

提案手法

• Liebの凹性トレース不等式を活用し、指数モーメント法を行列設定に一般化する。
• 累積生成行列のトレースを用いた一般的な尾確率不等式を導出し、次元をトレース量に置き換える。
• 行列のBernstein型不等式を導出し、次元を $ \operatorname{tr}(\mathbb{E}[X_i^2]) $ に置き換える。これは内在次元の測度である。
• Golden-Thompson不等式とLiebの定理を用いた行列版のChernoff束を用いて、固有値の逸脱を制御する。
• 列を $ \|a_i\|_2\|b_i\|_2 $ 比例確率でサンプリングすることで、行列乗算の近似に応用し、失敗確率に対数的依存性を確保する。
• 和集合の不等式とスペクトルノルム解析を用いて、サンプリング方式下での行列近似誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 行列濃縮不等式は、行列次元をトレースに基づく数量に置き換えることで、次元に依存しない形にできるか？
• RQ2 このような次元に依存しない境界の尾部減衰は、古典的な指数的境界とどのように比較されるか？
• RQ3 これらの境界は、高次元または無限次元空間における主成分分析に効果的に適用可能か？
• RQ4 ランダムな列サンプリングを用いて、行列積を高い確率で近似するのに必要な最小サンプル数は何か？
• RQ5 これらの新しい境界を用いることで、失敗確率に依存するサンプル複雑度を多項式的から対数的へと低減できるか？

主な発見

• 本稿では、行列次元を $ \operatorname{tr}(\mathbb{E}[X_i^2]) $ に置き換えた次元に依存しない行列Bernstein不等式を導出している。これは無限次元設定でも小さく保てることを示している。
• 尾部境界は $ \Pr[\cdots] \leq \operatorname{tr}(\cdot) \cdot t(e^t - t - 1)^{-1} $ の形を取り、$ t \geq 2.6 $ では $ e^{-t/2} $ と同様に減衰するため、漸近的にほぼ最適である。
• 近似行列乗算において、必要なサンプル数 $ n $ は $ O\left(\frac{(1 + \sqrt{r_A r_B}) \log(1/\delta)}{\epsilon^2}\right) $ に比例し、失敗確率 $ \delta $ に対して対数的依存性を示す。
• 高い確率 $ 1 - \delta $ で、$ AB^T $ のスペクトルノルム誤差が $ \epsilon \|A\|_2\|B\|_2 $ 以下に抑えられることを保証する。ここで $ r_A, r_B $ は $ A $ および $ B $ の数値ランクである。
• トレースに基づく境界により、カーネル法に由来するような無限次元特徴空間における主成分分析の有効な解析が可能になる。
• 従来の方法が多項式的依存性を必要とするのに対し、本手法は失敗確率に対数的依存性を示す指数的尾部境界を達成しており、前例を上回る改善を実現している。