[论文解读] Efficient Thresholded Correlation using Truncated Singular Value Decomposition

James Baglama, Michael J. Kane+2 more|arXiv (Cornell University)|Dec 22, 2015

Blind Source Separation Techniques参考文献 8被引用 3

一句话总结

该论文提出了一种新颖的算法，利用截断奇异值分解（SVD）通过利用低秩子空间中相关性与欧氏距离之间的几何关系，高效计算大规模相关矩阵的阈值化子集。该方法通过基于SVD的投影提前剔除不可行的向量对，显著减少计算和内存使用，使在普通集群上仅用8分钟内即从一个包含394,014列的矩阵中发现913,601对高度相关向量（r ≥ 0.99），而暴力方法则需处理数十亿对。

ABSTRACT

Efficiently computing a subset of a correlation matrix consisting of values above a specified threshold is important to many practical applications. Real-world problems in genomics, machine learning, finance other applications can produce correlation matrices too large to explicitly form and tractably compute. Often, only values corresponding to highly-correlated vectors are of interest, and those values typically make up a small fraction of the overall correlation matrix. We present a method based on the singular value decomposition (SVD) and its relationship to the data covariance structure that can efficiently compute thresholded subsets of very large correlation matrices.

研究动机与目标

• 解决大规模数据矩阵中所有成对相关性计算的计算不可行性，特别是在基因组学、机器学习和金融领域。
• 开发一种方法，高效识别仅相关性值高于用户定义阈值的向量对子集，避免完整计算相关矩阵。
• 通过截断SVD利用数据的协方差结构，基于低维子空间中的投影距离实现基于早期剔除不可行对。
• 设计一种可并行化的算法，无需代码更改即可在多核和分布式计算环境中高效扩展。
• 提供一种实用的开源R实现，支持真实世界数据工作负载中的阈值化相关性和距离计算。

提出的方法

• 该方法使用截断SVD将数据向量投影到由前k个奇异向量定义的低秩子空间中，其中k的选择旨在保留主要的协方差结构。
• 它利用引理1.1将相关性等价为平方欧氏距离的函数：cor(a_i, a_j) = 1 - ||a_i - a_j||² / 2，从而实现基于距离的剔除。
• 引理1.2将任意两个向量之间的平方欧氏距离表示为SVD基向量上投影平方的加权和，权重σ_j²随j递减。
• 若其在前k个SVD子空间中的投影距离超过由阈值定义的界限，则该算法会提前剔除该对，避免完整相关性计算。
• 过滤步骤通过R的foreach框架与doRedis后端实现并行化，支持在多个节点间分布，且仅需极少代码更改。
• 该方法支持阈值化相关性和阈值化欧氏距离，还可扩展至查找最相关的前N对。

实验结果

研究问题

• RQ1 截断SVD能否用于在不计算所有成对相关性的情况下，高效识别大规模相关矩阵中最高度相关的向量对？
• RQ2 如何利用相关性与欧氏距离之间的几何关系，在高维数据中降低计算和内存成本？
• RQ3 基于低秩SVD投影的早期剔除能在多大程度上减少需要完整相关性评估的候选对数量？
• RQ4 核心算法能否在多核和分布式集群上高效并行化，且仅需极少架构更改？
• RQ5 在真实世界基因组学数据集上，SVD-based阈值相关方法的性能与暴力计算相比如何？

主要发现

• 该算法在64核集群上约8分钟内从一个包含394,014列的甲基化数据集中识别出913,601对相关性≥0.99的向量对，将搜索空间从超过770亿对减少至约400万候选对。
• 在标准台式机上，同一算法在约3小时内完成相同任务，表明其在内存受限条件下的稳健性。
• 集群版本峰值内存使用为994.3 MB，因64个工作进程间的数据复制导致16 GB的额外开销，表明存在内存优化空间。
• 该算法的过滤步骤通过R的foreach和doRedis后端完全并行化，无需更改代码即可在64个核心上扩展。
• 与暴力评估相比，该方法将计算时间减少了95%，后者需评估超过770亿对成对相关性。
• 该方法可扩展至阈值化欧氏距离和前N个最相关对的检索，相关函数已包含在开源R实现中。