[論文レビュー] Canonical correlation coefficients of high-dimensional Gaussian vectors: finite rank case

Zhigang Bao, Jiang Hu+2 more|arXiv (Cornell University)|Apr 8, 2017

Random Matrices and Applications参考文献 36被引用数 7

ひとこと要約

本稿は、交差共分散行列が有限ランク $k$ を持つ高次元ガウス分布ベクトルにおける標準相関係数の研究を行っている。相関係数の二乗の母集団値 $r_i > r_c$ のとき、標本固有値 $ lambda_i$ が $(d_+, 1]$ の範囲にほとんど確実に収束するような段階的転移閾値 $r_c \in (0,1)$ を特定している。このとき、$r_i \leq r_c$ の場合、$ lambda_i \to d_+$ となり、極限スペクトル分布の端点に収束する。$r_i$ が $r_c$ と比較してどの程度かに応じて、フラクチュエーションはトレーシー・ワイドム分布または正規分布に従う。これらの結果は、有限ランク構造下での高次元CCAに対する非漸近的理論を提供する。

ABSTRACT

Consider a Gaussian vector $\mathbf{z}=(\mathbf{x}',\mathbf{y}')'$, consisting of two sub-vectors $\mathbf{x}$ and $\mathbf{y}$ with dimensions $p$ and $q$ respectively, where both $p$ and $q$ are proportional to the sample size $n$. Denote by $Σ_{\mathbf{u}\mathbf{v}}$ the population cross-covariance matrix of random vectors $\mathbf{u}$ and $\mathbf{v}$, and denote by $S_{\mathbf{u}\mathbf{v}}$ the sample counterpart. The canonical correlation coefficients between $\mathbf{x}$ and $\mathbf{y}$ are known as the square roots of the nonzero eigenvalues of the canonical correlation matrix $Σ_{\mathbf{x}\mathbf{x}}^{-1}Σ_{\mathbf{x}\mathbf{y}}Σ_{\mathbf{y}\mathbf{y}}^{-1}Σ_{\mathbf{y}\mathbf{x}}$. In this paper, we focus on the case that $Σ_{\mathbf{x}\mathbf{y}}$ is of finite rank $k$, i.e. there are $k$ nonzero canonical correlation coefficients, whose squares are denoted by $r_1\geq\cdots\geq r_k>0$. We study the sample counterparts of $r_i,i=1,\ldots,k$, i.e. the largest $k$ eigenvalues of the sample canonical correlation matrix $§_{\mathbf{x}\mathbf{x}}^{-1}§_{\mathbf{x}\mathbf{y}}§_{\mathbf{y}\mathbf{y}}^{-1}§_{\mathbf{y}\mathbf{x}}$, denoted by $λ_1\geq\cdots\geq λ_k$. We show that there exists a threshold $r_c\in(0,1)$, such that for each $i\in\{1,\ldots,k\}$, when $r_i\leq r_c$, $λ_i$ converges almost surely to the right edge of the limiting spectral distribution of the sample canonical correlation matrix, denoted by $d_{+}$. When $r_i>r_c$, $λ_i$ possesses an almost sure limit in $(d_{+},1]$. We also obtain the limiting distribution of $λ_i$'s under appropriate normalization. Specifically, $λ_i$ possesses Gaussian type fluctuation if $r_i>r_c$, and follows Tracy-Widom distribution if $r_i

研究の動機と目的

• 高次元設定（$p, q \sim n$）における標準相関分析（CCA）の非漸近的理論を構築すること。
• 母集団交差共分散行列 $\Sigma_{xy}$ が有限ランク $k$ を持つときの標本標準相関係数の挙動を分析すること。
• 標本固有値が $d_+$（極限スペクトル分布の端点）に収束するか、それより厳密に大きい値に収束するかを分ける臨界閾値 $r_c \in (0,1)$ を特定すること。
• 適切な正規化のもとで、最大の標本標準相関固有値 $\lambda_i$ の極限分布を導出し、トレーシエ・ワイドム分布と正規分布のフラクチュエーションの違いを明らかにすること。

提案手法

• 著者らは、$p, q$ 次元と $n$ 個の i.i.d. サンプルを持つ連合ガウス分布ベクトル $\mathbf{z} = (\mathbf{x}^\top, \mathbf{y}^\top)^\top$ をモデル化し、標本標準相関行列 $S_{xx}^{-1}S_{xy}S_{yy}^{-1}S_{yx}$ に注目する。
• 特に、変形されたウィグナー行列のためのステルジス変換と局所法を用いた、標本CCA行列の極限スペクトル分布の分析を通じて、ランダム行列理論のツールを適用する。
• 主な技術的革新は、変形された標本CCA行列のリゾルベントに対する局所法を導出することであり、これにより最大固有値の位置とフラクチュエーションを制御できる。
• 段階的転移は、$r_c$ という閾値を用いて特定される。$r_i \leq r_c$ のとき、$ lambda_i \to d_+$ がほとんど確実に成立する。一方、$r_i > r_c$ のとき、$ lambda_i \to \ell_i > d_+$ に収束し、$ ell_i$ は $r_i$ に依存する。
• 極限フラクチュエーションの挙動は次のように導出される：$r_i < r_c$ のとき、$ lambda_i$ はトレーシエ・ワイドム分布に従う。$r_i > r_c$ のとき、$ lambda_i$ は適切な正規化のもとで正規分布に従う。
• 解析は、リゾルベントとその決定的同等物との詳細な比較に依拠しており、自己整合方程式とマルチスケールアプローチを用いて誤差項を制御する。

実験結果

リサーチクエスチョン

• RQ1 母集団交差共分散行列 $\Sigma_{xy}$ が有限ランク $k$ を持つとき、最大の標本標準相関係数 $\lambda_i$ の極限的挙動は何か？
• RQ2 母集団標準相関係数の二乗 $r_i$ の大きさに応じて、$\lambda_i$ の極限的挙動に段階的転移が生じるか？
• RQ3 $ lambda_i$ のフラクチュエーションは漸近的にどのように振る舞い、$r_i$ が臨界閾値 $r_c$ より小さいか大きいかに応じて、トレーシエ・ワイドム分布または正規分布に従うか？
• RQ4 高次元的状況 $p, q \sim n$ において、標本固有値 $\lambda_i$ から母集団標準相関係数 $r_i$ を一貫して推定できるか？
• RQ5 標本標準相関行列の極限スペクトル分布は何か？また、$r_i \leq r_c$ のとき、$ lambda_i$ のほとんど確実な極限は何か？

主な発見

• 臨界閾値 $r_c \in (0,1)$ が存在し、$r_i \leq r_c$ のとき、$ lambda_i \to d_+$ がほとんど確実に成立する。ここで $d_+$ は標本CCA行列の極限スペクトル分布の右端点である。
• $r_i > r_c$ のとき、$ lambda_i$ は極限 $\ell_i \in (d_+, 1]$ にほとんど確実に収束する。このため、高次元的状況下で $r_i$ を $\lambda_i$ から一貫して推定可能である。
• $r_i < r_c$ のとき、$ lambda_i$ の極限フラクチュエーションはトレーシエ・ワイドム分布に従う。これは、ランダム行列理論におけるエッジ固有値の極値統計に典型的な挙動を示す。
• $r_i > r_c$ のとき、$ lambda_i$ のフラクチュエーションは正規分布に従う。これは、スペクトルエッジにない固有値の中心極限定理的挙動を示す。
• これらの結果により、有限ランク構造下での高次元CCAにおける標本標準相関係数の完全な非漸近的特徴づけが可能になった。
• 理論により、$p, q \sim n$ であっても、$r_c$ における段階的転移を利用することで、真の標準相関係数 $r_i$ を高次元データから一貫して推定可能である。