[论文解读] Sparse Additive Functional and Kernel CCA

Sivaraman Balakrishnan, Kriti Puniyani+1 more|arXiv (Cornell University)|Jun 18, 2012

Gene expression and cancer classification参考文献 19被引用 11

一句话总结

本文提出了两种高维非参数化CCA方法——稀疏可加函数CCA与核CCA——通过可加模型和核方法捕捉高维基因组数据中的非线性相关性。作者提出了具有理论保证的估计方法，并在模拟和真实基因组数据集中展示了其在检测非线性关系方面优于经典线性CCA与稀疏线性CCA的性能。

ABSTRACT

Canonical Correlation Analysis (CCA) is a classical tool for finding correlations among the components of two random vectors. In recent years, CCA has been widely applied to the analysis of genomic data, where it is common for researchers to perform multiple assays on a single set of patient samples. Recent work has proposed sparse variants of CCA to address the high dimensionality of such data. However, classical and sparse CCA are based on linear models, and are thus limited in their ability to find general correlations. In this paper, we present two approaches to high-dimensional nonparametric CCA, building on recent developments in high-dimensional nonparametric regression. We present estimation procedures for both approaches, and analyze their theoretical properties in the high-dimensional setting. We demonstrate the effectiveness of these procedures in discovering nonlinear correlations via extensive simulations, as well as through experiments with genomic data.

研究动机与目标

• 解决经典线性CCA与稀疏线性CCA在捕捉高维数据中非线性相关性方面的局限性。
• 开发非参数化CCA方法，将CCA从线性关系扩展至建模复杂非线性依赖关系。
• 在样本量有限的高维设定下，对估计程序提供理论分析。
• 在模拟数据与真实基因组数据集上，展示在检测非线性相关性方面的性能提升。
• 实现高维随机向量之间功能关系的可解释稀疏表示。

提出的方法

• 提出稀疏可加函数CCA，利用可加模型将典型变量表示为输入变量的光滑一元函数之和。
• 通过在函数系数上施加L1惩罚实现正则化，以诱导稀疏性并增强可解释性。
• 提出基于核的CCA方法，利用再生核希尔伯特空间（RKHS）非参数化地建模非线性关系。
• 开发联合优化程序，在稀疏性与非参数平滑性约束下估计典型方向。
• 利用高维非参数回归技术，在高维设定下估计分量函数与核算子。
• 在适当的正则性与稀疏性条件下，建立两种方法的估计一致性与收敛速率理论。

实验结果

研究问题

• RQ1 非参数化CCA方法是否能在经典线性CCA失效的高维数据中检测到非线性相关性？
• RQ2 与经典线性CCA和稀疏线性CCA相比，稀疏可加与核基CCA方法在相关性检测与变量选择方面表现如何？
• RQ3 所提出估计器在高维、小样本设定下的理论性质是什么？
• RQ4 所提出方法是否能有效识别基因组数据中的相关变量，同时捕捉复杂非线性依赖关系？
• RQ5 这些方法对模型误设与高维噪声的鲁棒性如何？

主要发现

• 所提出的稀疏可加函数CCA与核CCA方法在经典线性CCA失效的高维数据中成功检测到非线性相关性。
• 模拟结果表明，两种方法在高维设定下显著优于经典线性CCA与稀疏线性CCA，能更有效地识别非线性关系。
• 方法在估计典型方向上具有一致性，收敛速率取决于稀疏性与平滑性参数。
• 基因组数据的实证结果表明，方法能够识别出线性模型无法捕捉的有意义生物学关系。
• 理论分析证实，两种方法在适当的正则性与稀疏性条件下于高维设定下具有一致性。
• 通过L1惩罚诱导的稀疏性，使典型变量具有可解释性，仅突出最相关的输入变量。