[论文解读] Distances between Random Orthogonal Matrices and Independent Normals

Tiefeng Jiang, Yutao Ma|arXiv (Cornell University)|Apr 18, 2017

Random Matrices and Applications参考文献 27被引用 14

一句话总结

本文在四种统计距离下建立了随机正交矩阵子矩阵收敛于 i.i.d. 高斯矩阵的精确渐近阈值：总变差距离、赫林格距离、Kullback-Leibler 距离和欧几里得距离。研究证明，当 $pq/n \to 0$ 时，总变差距离、赫林格距离和 Kullback-Leibler 距离趋于零；而欧几里得距离则需要更严格的条件 $pq^2/n \to 0$，从而证实了一个猜想，并解决了关于收敛速率的开放问题。

ABSTRACT

Let $Γ_n$ be an $n imes n$ Haar-invariant orthogonal matrix. Let $ Z_n$ be the $p imes q$ upper-left submatrix of $Γ_n,$ where $p=p_n$ and $q=q_n$ are two positive integers. Let $G_n$ be a $p imes q$ matrix whose $pq$ entries are independent standard normals. In this paper we consider the distance between $\sqrt{n} Z_n$ and $ G_n$ in terms of the total variation distance, the Kullback-Leibler distance, the Hellinger distance and the Euclidean distance. We prove that each of the first three distances goes to zero as long as $pq/n$ goes to zero, and not so this rate is sharp in the sense that each distance does not go to zero if $(p, q)$ sits on the curve $pq=σn$, where $σ$ is a constant. However, it is different for the Euclidean distance, which goes to zero provided $pq^2/n$ goes to zero, and not so if $(p,q)$ sits on the curve $pq^2=σn.$ A previous work by Jiang \cite{Jiang06} shows that the total variation distance goes to zero if both $p/\sqrt{n}$ and $q/\sqrt{n}$ go to zero, and it is not true provided $p=c\sqrt{n}$ and $q=d\sqrt{n}$ with $c$ and $d$ being constants. One of the above results confirms a conjecture that the total variation distance goes to zero as long as $pq/n o 0$ and the distance does not go to zero if $pq=σn$ for some constant $σ$.

研究动机与目标

• 解决一个长期存在的猜想：只要 $pq/n \to 0$，无论 $p$ 和 $q$ 的相对缩放如何，$\sqrt{n}\mathbf{Z}_n$ 与 $\mathbf{G}_n$ 之间的总变差距离是否趋于零。
• 将分析从总变差距离扩展到赫林格距离、Kullback-Leibler 距离和欧几里得距离，确定这些距离各自的收敛阈值。
• 建立收敛的精确相变，表明 $pq/n \to 0$ 和 $pq^2/n \to 0$ 分别是前三种距离和欧几里得距离的必要且充分条件。
• 在不同距离度量之间进行全面的收敛速率比较，明确这些收敛准则在高维随机矩阵理论中的相对强度。

提出的方法

• 作者分析了 $n \times n$ 哈尔不变正交矩阵 $\mathbb{\Gamma}_n$ 的 $p \times q$ 左上角子矩阵 $\mathbf{Z}_n$ 的元素联合分布，并将其与 i.i.d. 标准正态矩阵 $\mathbf{G}_n$ 进行比较。
• 他们采用矩和累积量的渐近分析，推导出在 $p_n$ 和 $q_n$ 的不同渐近制度下，四种距离（总变差距离、赫林格距离、Kullback-Leibler 距离和欧几里得距离）的行为。
• 总变差距离、赫林格距离和 Kullback-Leibler 距离的证明依赖于矩匹配和集中不等式，表明当 $pq/n \to 0$ 时收敛，当 $pq/n \to \sigma > 0$ 时发散，从而确立了精确的阈值。
• 对于欧几里得距离，分析依赖于差值 $\|\sqrt{n}\mathbf{Z}_n - \mathbf{G}_n\|_F$ 的迹范数，通过二阶矩展开和协方差计算，证明在 $pq^2/n \to 0$ 时收敛，当 $pq^2/n \to \sigma > 0$ 时发散。
• 作者使用反证法和子序列分析来证明条件的必要性，特别是在欧几里得距离的情况下，通过构造违反收敛性的辅助序列来完成证明。

实验结果

研究问题

• RQ1 只要 $pq/n \to 0$，即使 $p$ 和 $q$ 的缩放方式不同，$\sqrt{n}\mathbf{Z}_n$ 与 $\mathbf{G}_n$ 之间的总变差距离是否趋于零？
• RQ2 赫林格距离和 Kullback-Leibler 距离是否也在 $pq/n \to 0$ 条件下趋于零，且阈值是否精确？
• RQ3 欧几里得距离是否也受相同的 $pq/n \to 0$ 条件约束，还是需要更强的条件？
• RQ4 欧几里得距离趋于零的精确渐近阈值是什么？它与其他距离有何不同？
• RQ5 每种距离度量的收敛条件是否既必要又充分？能否通过反证法和矩分析加以证明？

主要发现

• 当且仅当 $pq/n \to 0$ 时，$\sqrt{n}\mathbf{Z}_n$ 与 $\mathbf{G}_n$ 之间的总变差距离趋于零，证实了该条件既必要又充分的猜想。
• 赫林格距离和 Kullback-Leibler 距离也当且仅当 $pq/n \to 0$ 时趋于零，具有相同的精确阈值，将结果从总变差距离推广至其他距离。
• 欧几里得距离当且仅当 $pq^2/n \to 0$ 时趋于零，该条件比 $pq/n \to 0$ 更强，揭示了该度量行为的根本差异。
• 当 $pq/n \to \sigma > 0$ 时，总变差距离、赫林格距离和 Kullback-Leibler 距离均不趋于零，确立了 $pq/n \to 0$ 阈值的精确性。
• 对于欧几里得距离，若 $pq^2/n \to \sigma > 0$，则距离不趋于零，证明了 $pq^2/n \to 0$ 是必要且充分的。
• 本文对四种标准统计距离的收敛阈值提供了完整刻画，解决了随机矩阵理论和高维概率中的开放问题。