[论文解读] Discovering Structure in High-Dimensional Data Through Correlation Explanation

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|Jun 4, 2014

Advanced Text Analysis Techniques参考文献 31被引用 63

一句话总结

本文提出相关性解释（CorEx），一种无模型、无监督的方法，通过优化信息论目标来解释潜在因子之间的相关性，从而在高维数据中学习分层表示。该方法通过一种贪心的线性时间算法最小化多元互信息，高效地发现各类数据（如人格特质、DNA 和文本）中的有意义结构。

ABSTRACT

We introduce a method to learn a hierarchy of successively more abstract representations of complex data based on optimizing an information-theoretic objective. Intuitively, the optimization searches for a set of latent factors that best explain the correlations in the data as measured by multivariate mutual information. The method is unsupervised, requires no model assumptions, and scales linearly with the number of variables which makes it an attractive approach for very high dimensional systems. We demonstrate that Correlation Explanation (CorEx) automatically discovers meaningful structure for data from diverse sources including personality tests, DNA, and human language.

研究动机与目标

• 开发一种无需先验假设或标注数据的无模型、无监督方法，用于发现高维数据中有意义的分层表示。
• 解决从复杂相关数据中提取潜在结构的挑战，传统方法因模型限制或可扩展性问题而失效。
• 提供一种可扩展的信息论替代方案，替代深度学习和贝叶斯结构学习，兼具可计算性和可解释性。
• 证明高维数据中的冗余性（通过多元互信息衡量）可作为发现潜在因果或生成因子的强信号。
• 表明该方法可在无监督或无领域先验的情况下，恢复已知结构（如大五人格特质、遗传种群结构）。

提出的方法

• 使用多元互信息（总相关性，TC）作为变量间相关性的度量，定义为 $ TC(X_G) = \sum_{i \in G} H(X_i) - H(X_G) $。
• 定义相关性解释目标 $ TC(X;Y) = TC(X) - TC(X|Y) $，量化潜在因子 $ Y $ 解释观测变量 $ X $ 中相关性的程度。
• 在大小为 $ k $ 的离散潜在因子 $ Y $ 上优化 $ \max_{p(y|x)} TC(X;Y) $，通过贪心迭代算法寻找对相关性的最佳解释。
• 将方法扩展至多个潜在因子 $ Y_1, \dots, Y_m $，采用分层、逐层优化的方式构建越来越抽象的表示。
• 采用归一化目标函数，平衡信息增益与复杂度，通过矩阵运算和非线性变换实现高效计算。
• 通过使用连续参数 $ \alpha_{i,j} $ 松弛离散因子约束，实现更灵活且鲁棒的优化。

实验结果

研究问题

• RQ1 无模型、无监督的方法能否通过潜在因子解释相关性，在高维数据中发现分层结构？
• RQ2 在无任何先验假设的情况下，CorEx 与标准技术相比，在检测高维结构方面表现如何？
• RQ3 CorEx 在多大程度上能从未标注的原始数据中恢复已知的有意义结构（如人格类型、遗传亚群）？
• RQ4 CorEx 是否能有效学习人格调查、基因组学和自然语言等多样化领域中的表示？
• RQ5 与其它信息论目标相比，使用总相关性作为相关性解释度量在理论和实践上具有何种优势？

主要发现

• CorEx 从调查数据中成功反向工程出‘大五人格’特质，优于其他未能检测到潜在结构的方法。
• 在 DNA 数据中，CorEx 自动发现了几乎完美的性别、地理和种族预测因子，展示了其提取生物意义信号的能力。
• 在文本数据中，CorEx 恢复了风格特征和分层主题表示，揭示了无监督条件下的潜在语义结构。
• 该方法与变量数量呈线性扩展，使其在传统贝叶斯或深度学习方法失效的极高维系统中具有实用性。
• CorEx 在合成数据和真实世界数据中均实现了已知结构的完美恢复，表明高维数据中的冗余性为结构发现提供了强大且可利用的信号。
• 该算法在各领域表现稳健，潜在因子始终能通过 $ TC(X;Y) $ 测量解释总相关性的高比例。