[論文レビュー] Sample canonical correlation coefficients of high-dimensional random vectors with finite rank correlations

Zongming Ma, Fan Yang|arXiv (Cornell University)|Feb 5, 2021

Random Matrices and Applications参考文献 52被引用数 8

ひとこと要約

本稿は、有限ランク相関を持つ高次元確率的ベクトルにおける標本正規化 canonical 相関係数（CCC）の BBP 相転移を確立する。鋭い4次モーメント条件のもとで、母集団 CCC が閾値未満の場合は、標本 CCC がトレーシー＝ウィドムのフラクチュエーションを示すバルク端に収束するのに対し、閾値を超える場合はバルクスペクトルから分離されたオーバーオブザバルクが生じる。これは、近似的退化や臨界状態でさえも成り立つ。

ABSTRACT

Consider two random vectors $\widetilde{\mathbf x} \in \mathbb R^p$ and $\widetilde{\mathbf y} \in \mathbb R^q$ of the forms $\widetilde{\mathbf x}=A\mathbf z+\mathbf C_1^{1/2}\mathbf x$ and $\widetilde{\mathbf y}=B\mathbf z+\mathbf C_2^{1/2}\mathbf y$, where $\mathbf x\in \mathbb R^p$, $\mathbf y\in \mathbb R^q$ and $\mathbf z\in \mathbb R^r$ are independent vectors with i.i.d. entries of mean 0 and variance 1, $\mathbf C_1$ and $\mathbf C_2$ are $p imes p$ and $q imes q$ deterministic covariance matrices, and $A$ and $B$ are $p imes r$ and $q imes r$ deterministic matrices. With $n$ independent observations of $(\widetilde{\mathbf x},\widetilde{\mathbf y})$, we study the sample canonical correlations between $\widetilde{\mathbf x} $ and $\widetilde{\mathbf y}$. We consider the high-dimensional setting with finite rank correlations. Let $t_1\ge t_2 \ge \cdots\ge t_r$ be the squares of the nontrivial population canonical correlation coefficients, and let $\widetildeλ_1 \ge\widetildeλ_2\ge\cdots\ge\widetildeλ_{p\wedge q}$ be the squares of the sample canonical correlation coefficients. If the entries of $\mathbf x$, $\mathbf y$ and $\mathbf z$ are i.i.d. Gaussian, then the following dichotomy has been shown in [7] for a fixed threshold $t_c \in(0, 1)$: for $1\le i \le r$, if $t_i < t_c$, then $\widetildeλ_i$ converges to the right-edge $λ_+$ of the limiting eigenvalue spectrum of the sample canonical correlation matrix; if $t_i>t_c$, then $\widetildeλ_i$ converges to a deterministic limit $θ_i \in (λ_+,1)$ determined by $t_i$. In this paper, we prove that these results hold universally under the sharp fourth moment conditions on the entries of $\mathbf x$ and $\mathbf y$. Moreover, we prove the results in full generality, in the sense that they also hold for near-degenerate $t_i$'s and for $t_i$'s that are close to the threshold $t_c$.

研究の動機と目的

• p, q, n が比例して増大する高次元設定における標本 canonical 相関係数（CCC）の極限的挙動を理解すること。
• p と q が n と同程度のとき、次元の呪いにより古典的 CCA 理論が破綻することを解消すること。
• 有限ランク相関の存在下で、標本 CCC に現れるとされる「BBP 相転移」として知られる相転移現象を確立すること。
• 母集団 CCC が近似的に退化している場合や閾値に非常に近い場合の BBP 相転移の拡張。
• 最小のモーメント仮定のもとで、標本 canonical 相関行列の固有値挙動に対する厳密な非漸近的解析を提供すること。

提案手法

• 2つの高次元確率的ベクトルを、独立同分布の成分と低ランクの要因負荷の線形結合としてモデル化する。
• 母集団共分散行列と共分散行列を用いて母集団 canonical 相関（PCC）行列を導出する。
• n 個の i.i.d. 観測値を n^{-1/2} でスケーリングして形成される標本 canonical 相関（SCC）行列を分析する。
• 局所法とスペクトル解析を用いて SCC 行列の固有値分布を研究する。
• Y と Y + tBZ の間の補間行列パスを用い、固有値の連続性を追跡し、臨界閾値を回避する。
• 決定的正則化と摂動論法を用いて、リゾルベントを制御し、グリーン関数に対する一様なバインディングを確立する。

実験結果

リサーチクエスチョン

• RQ1 母集団 canonical 相関係数が臨界閾値に近い高次元設定において、標本 canonical 相関係数は相転移を示すか？
• RQ2 母集団 CCC が閾値未満の場合、標本 CCC はバルク端に収束し、トレーシー＝ウィドムのフラクチュエーションを示すか？
• RQ3 母集団 CCC がほぼ退化している場合や閾値に限りなく近い場合でも、BBP 相転移を確立できるか？
• RQ4 鋭い4次モーメント条件は、高次元 CCA における標本 CCC の収束とフラクチュエーション挙動にどのように影響するか？
• RQ5 最小のモーメント仮定のもとで、バルクスペクトルの端に収束する標本 CCC に対して、トレーシー＝ウィドム則は依然有効か？

主な発見

• 母集団 canonical 相関係数が臨界閾値未満の場合、対応する標本 canonical 相関係数は、標本 canonical 相関行列のバルク固有値スペクトルの右端に収束する。
• 母集団 CCC が閾値未満の場合、標本 CCC は極限においてトレーシー＝ウィドム則を満たし、普遍的なフラクチュエーション挙動を示す。
• 母集団 CCC が閾値を超える場合、対応する標本 CCC はバルク固有値スペクトルから分離されたオーバーオブザバルクに収束する。
• 近似的に退化している母集団 CCC や閾値に非常に近い場合でも、BBP 相転移は成り立つ。これは、相転移の頑健性を示している。
• 結果は、元の確率的ベクトルの i.i.d. 成分に鋭い4次モーメント条件を課すことによって得られ、最小のモーメント仮定が満たされている。
• 連続的な補間パスとグリーン関数に対する高確率的バインディングを用いて、リゾルベントと固有値の連続性を厳密に制御した。