[论文解读] Contrastive Principal Component Analysis

Abubakar Abid, Martin Jinye Zhang+2 more|arXiv (Cornell University)|Sep 20, 2017

Spectroscopy and Chemometric Analyses参考文献 17被引用 16

一句话总结

该论文提出对比主成分分析（cPCA），这是PCA的一种推广，通过在目标数据集中最大化方差而在背景数据集中最小化方差，识别相对于背景数据集的独特低维结构。该方法能有效分离数据集特异性模式——如癌症亚型或噪声图像中的数字特征——在发现和可视化任务中优于标准PCA。

ABSTRACT

We present a new technique called contrastive principal component analysis (cPCA) that is designed to discover low-dimensional structure that is unique to a dataset, or enriched in one dataset relative to other data. The technique is a generalization of standard PCA, for the setting where multiple datasets are available -- e.g. a treatment and a control group, or a mixed versus a homogeneous population -- and the goal is to explore patterns that are specific to one of the datasets. We conduct a wide variety of experiments in which cPCA identifies important dataset-specific patterns that are missed by PCA, demonstrating that it is useful for many applications: subgroup discovery, visualizing trends, feature selection, denoising, and data-dependent standardization. We provide geometrical interpretations of cPCA and show that it satisfies desirable theoretical guarantees. We also extend cPCA to nonlinear settings in the form of kernel cPCA. We have released our code as a python package and documentation is on Github.

研究动机与目标

• 解决标准PCA在人口统计或背景噪声主导方差时，难以分离有意义、数据集特异性模式的局限性。
• 开发一种系统化方法，以发现相对于另一数据集在某一群体中富集的低维子空间，尤其适用于存在混杂因素的情境。
• 在癌症亚型发现和复杂背景下图像数字识别等场景中，实现有效的数据探索。
• 提供理论保证和计算效率，以支持交互式、实时数据分析。
• 通过核cPCA将方法扩展至非线性场景，以捕捉数据中复杂的非线性对比特征。

提出的方法

• 将cPCA公式化为广义特征值问题，以优化在目标数据集中方差高而在背景数据集中方差低的方向。
• 引入对比参数α，以控制背景数据方差的相对重要性，从而在灵敏度与特异性之间实现灵活权衡。
• 通过结合目标与背景数据协方差结构的改进核矩阵，推导出闭式解。
• 使用多项式核函数应用核cPCA，将数据隐式映射到更高维特征空间，使非线性对比变为线性可分。
• 采用基于子空间聚类的自动α选择策略，无需人工调参即可识别最具信息量的对比成分。
• 利用所得特征向量将数据投影到前k个对比成分上，实现在对比子空间中的可视化与下游分析。

实验结果

研究问题

• RQ1 当人口统计变异主导前几大PCA成分时，cPCA能否有效分离基因表达数据中的生物意义明确的亚型？
• RQ2 当背景纹理（如草地）主导标准PCA的主成分时，cPCA能否恢复图像中手写数字的特征？
• RQ3 cPCA在识别合成与真实世界数据中的非线性、对比性结构方面，相较于标准PCA和核PCA表现如何？
• RQ4 对比参数α对所发现成分的质量与可解释性有何影响？
• RQ5 由于cPCA在计算上与标准PCA相似，是否可高效应用于交互式数据分析工作流中？

主要发现

• cPCA成功分离了具有复杂背景的图像中的手写数字，而标准PCA因背景方差干扰无法区分数字。
• 在基因表达数据中，cPCA通过抑制原本主导前几大PCA成分的人口统计变异，成功分离出癌症亚型。
• 核cPCA在合成数据中成功识别出非线性子群，而线性cPCA与标准PCA均无法分离簇群。
• 自动α选择策略在无需人工调参的情况下，有效识别出多样化数据集中的信息量丰富的对比成分。
• cPCA的计算成本与标准PCA相当，支持实时、交互式数据分析。
• 理论分析证实，cPCA成分满足正交性及在定义目标下的最优方差对比性等理想性质。