[论文解读] Canonical correlation analysis of high-dimensional data with very small sample support

Yang Song, Peter J. Schreier+2 more|arXiv (Cornell University)|Apr 7, 2016

Blind Source Separation Techniques参考文献 27被引用 4

一句话总结

本文提出了一种在高维、小样本设置下对典型相关分析（CCA）进行联合模型阶数选择的方法，通过整合低秩Bartlett-Lawley检验与最小描述长度（MDL）准则，能够在样本量远小于数据维度的情况下，准确估计主成分分析（PCA）的维度以及真实相关信号的数量，即使在有色噪声环境中也优于经验性方法。

ABSTRACT

This paper is concerned with the analysis of correlation between two high-dimensional data sets when there are only few correlated signal components but the number of samples is very small, possibly much smaller than the dimensions of the data. In such a scenario, a principal component analysis (PCA) rank-reduction preprocessing step is commonly performed before applying canonical correlation analysis (CCA). We present simple, yet very effective approaches to the joint model-order selection of the number of dimensions that should be retained through the PCA step and the number of correlated signals. These approaches are based on reduced-rank versions of the Bartlett-Lawley hypothesis test and the minimum description length information-theoretic criterion. Simulation results show that the techniques perform well for very small sample sizes even in colored noise.

研究动机与目标

• 解决当样本量相对于数据维度极小时，执行可靠典型相关分析（CCA）的挑战。
• 以系统化、数据驱动的方式解决最优PCA阶数与相关信号数量选择的关键问题。
• 开发在有色噪声和极端样本稀缺条件下依然有效的模型，传统CCA因典型相关系数的过度估计而失效。
• 为PCA阶数与相关信号数量的启发式或经验性选择提供系统性替代方案。

提出的方法

• 该方法采用Bartlett-Lawley似然比检验的低秩版本，在PCA预处理后评估典型相关系数的显著性。
• 应用最小描述长度（MDL）信息论准则，以在PCA阶数与相关信号数量的选择中平衡模型拟合与复杂度。
• 通过权衡模型拟合与降维程度，联合估计相关信号数量 $d$ 以及PCA维度 $r_x$、$r_y$。
• 利用真实相关信号数量 $d$ 通常较小的事实，即使数据维度 $m$ 和 $n$ 较大亦成立。
• 使用小样本估计的样本协方差矩阵，随后通过基于PCA的降维处理后再进行CCA，以避免虚假相关性。
• 通过特征值交错性与Weyl不等式提供理论依据，表明典型相关系数估计值随PCA阶数增加而上升，因此必须谨慎选择模型阶数。

实验结果

研究问题

• RQ1 在样本支持极小的高维CCA中，如何联合选择最优PCA阶数 $r_x$ 与 $r_y$ 及相关信号数量 $d$？
• RQ2 当 $M \ll m+n$ 且样本相关系数严重有偏时，何种统计准则可可靠检测真实典型相关系数？
• RQ3 在有色噪声条件下，低秩Bartlett-Lawley检验与MDL准则在模型阶数选择中的性能如何比较？
• RQ4 在样本极度稀缺的场景下，这些方法能否优于启发式或经验性选择？
• RQ5 样本典型相关系数随PCA阶数单调递增的理论基础是什么？这一现象如何影响模型选择？

主要发现

• 所提出的联合模型阶数选择方法显著提高了在高维小样本设置下典型相关系数的估计精度。
• 低秩Bartlett-Lawley检验与MDL准则在样本数 $M$ 显著小于数据维度之和 $m+n$ 的情况下仍表现稳健。
• 仿真结果表明，该方法在存在有色噪声时，对相关信号的检测率从角度间隔 $\delta = 4^\circ$ 起保持较高水平。
• 基于该方法的检测器在有色噪声下优于SEV+X方法，后者无论角度间隔如何均完全失效。
• 该方法有效缓解了当 $M < m+n$ 时典型相关系数被过度估计的问题，即多达 $m+n-M$ 个样本相关系数被虚假地估计为1。
• 理论分析证实，样本典型相关系数估计值随PCA阶数单调递增，从而为采用系统化模型阶数选择以避免过拟合提供了理论依据。