[論文レビュー] On Concentration Inequalities for Random Matrix Products

Tarun Kathuria, Satyaki Mukherjee+1 more|arXiv (Cornell University)|Mar 13, 2020

Random Matrices and Applications参考文献 4被引用数 4

ひとこと要約

本稿では、平均が $\mu$ で作用素ノルムが $L$ で有界な i.i.d. $d \times d$ ランダム行列 $X_i$ を用いた、$\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ の形をした正規化されたランダム行列積に対する鋭い集中不等式を提示する。行列ドーブマルティンゲールと行列フリードマン不等式を用いて、定数因子を除いて最適な $n$ および $d$ 依存性を達成し、尾根確率として $\mathsf{Pr}\left[\left\|f(X_1,\ldots,X_n) - e^{\mu}\right\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$ を得る。これは定数因子を除いて行列ベルンシュタイン不等式と一致する。

ABSTRACT

Consider $n$ complex random matrices $X_1,\ldots,X_n$ of size $d imes d$ sampled i.i.d. from a distribution with mean $E[X]=μ$. While the concentration of averages of these matrices is well-studied, the concentration of other functions of such matrices is less clear. One function which arises in the context of stochastic iterative algorithms, like Oja's algorithm for Principal Component Analysis, is the normalized matrix product defined as $\prod\limits_{i=1}^{n}\left(I + \frac{X_i}{n} ight).$ Concentration properties of this normalized matrix product were recently studied by \cite{HW19}. However, their result is suboptimal in terms of the dependence on the dimension of the matrices as well as the number of samples. In this paper, we present a stronger concentration result for such matrix products which is optimal in $n$ and $d$ up to constant factors. Our proof is based on considering a matrix Doob martingale, controlling the quadratic variation of that martingale, and applying the Matrix Freedman inequality of Tropp \cite{TroppIntro15}.

研究の動機と目的

• 主成分分析のためのオークサのアルゴリズムなどの確率的反復アルゴリズムにおける正規化された行列積のためのタイトな集中不等式の欠如に対処すること。
• ヘンリクセンとウォード（2020年）の先行研究で使用されたグループ化と行列ベルンシュタイン不等式による手法で生じる、$\log^2 n$ 要因の非最適性を克服すること。
• 行列和の行列ベルンシュタイン不等式と同程度の $n$ および $d$ 依存性（定数因子を除いて）を持つ、$\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ の集中結果を確立すること。
• i.i.d. な $X_i$ が $0$ と $2L$ を等確率でとる下界例を構築することで、分散プロキシにおける $L^2 e^{2L}$ 依存性が、スカラーの場合ですら必要であることを示すこと。

提案手法

• 各 $X_i$ を順次明らかにする際の行列積の増分変化を表すために、行列ドーブマルティンゲール $Y_k = \mathbb{E}[f(X_1,\ldots,X_n) \mid X_1,\ldots,X_k] - \mathbb{E}[f(X_1,\ldots,X_n) \mid X_1,\ldots,X_{k-1}]$ を構築する。
• 部分乗法性と $\|X_i\|_{\mathsf{op}} \leq L$ の境界を用いて、各マルティンゲール増分 $Y_k$ のスペクトルノルムを $\frac{2Le^L}{n}$ で抑え込む。
• 予測可能な二次変動 $\mathbb{E}[Y_k Y_k^* \mid X_1,\ldots,X_{k-1}]$ を制御し、そのノルムが $\frac{4L^2 e^{2L}}{n^2}$ 以下であることを示し、合計変動を $\frac{4L^2 e^{2L}}{n}$ で抑え込む。
• マルティンゲールに行列フリードマン不等式（Tropp, 2015）を適用し、最大増分ノルムと合計予測可能変動に依存する尾根確率を得る。
• 条件 $t \leq Le^L \sqrt{\log d / n}$ の下で、最終的な集中不等式 $\mathsf{Pr}\left[\|f(X_1,\ldots,X_n) - e^\mu\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$ を導出する。

実験結果

リサーチクエスチョン

• RQ1 正規化された行列積 $\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ の集中が、行列和の行列ベルンシュタイン不等式と同程度の $n$ および $d$ 依存性（定数因子を除いて）で抑えられるか。
• RQ2 ヘンリクセンとウォード（2020年）の先行研究で生じる $\log^2 n$ 要因の損失は本質的であるか、それとも異なる証明技法により回避可能か。
• RQ3 集中尾根における行列ノルムの上限 $L$ に対する正しい依存性は何か。$L^2 e^{2L}$ は $L^2$ よりも必要か。
• RQ4 行列フリードマン不等式を用いたマルティンゲールベースの手法は、グループ化に基づく手法よりもタイトな境界をもたらすか。
• RQ5 スカラーの場合ですら、分散プロキシにおける $e^{O(L)}$ 要因は避けられないか。

主な発見

• 本稿では、正規化された行列積 $f(X_1,\ldots,X_n) = \prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ に対して、尾根確率 $\mathsf{Pr}\left[\|f(X_1,\ldots,X_n) - e^\mu\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$ を持つ集中不等式を確立した。これは $n$ および $d$ に関して定数因子を除いて最適である。
• この不等式は、行列ドーブマルティンゲールと行列フリードマン不等式を用いて導出され、ヘンリクセンとウォード（2020年）の先行研究で見られた $\log^2 n$ 要因の損失を回避している。
• 各マルティンゲール増分のスペクトルノルムは $\frac{2Le^L}{n}$ で抑えられ、合計予測可能二次変動は $\frac{4L^2 e^{2L}}{n}$ で抑えられる。これらは行列フリードマン不等式の適用に不可欠である。
• i.i.d. な $X_i$ が $0$ と $2L$ を等確率でとる下界例を構築することで、分散プロキシにおける $L^2 e^{2L}$ 依存性が、スカラー積に対しても必要であることが示された。
• 結果として得られた不等式は、行列和の行列ベルンシュタイン不等式と $n$ および $d$ 依存性において同程度であり、$e^{2L}$ 要因による定数因子の差異を除いて一致する。
• 著者らは、$L$ のみに依存する表現において、$e^{O(L)}$ 依存性は除去できないことを、スカラー反例によって確認した。