[论文解读] Adjacency-constrained hierarchical clustering of a band similarity matrix with application to Genomics

Christophe Ambroise, Alia Dehman+3 more|arXiv (Cornell University)|Feb 5, 2019

Gene expression and cancer classification参考文献 39被引用 33

一句话总结

这篇论文提出一种带带状相似性矩阵的邻接约束 Ward HAC 算法，以实现准线性时间和线性空间复杂度，从而实现基因组分割的可扩展性。它还提供了一个用于 GWAS 和 Hi-C 数据分析的 R 包 adjclust。

ABSTRACT

Motivation: Genomic data analyses such as Genome-Wide Association Studies (GWAS) or Hi-C studies are often faced with the problem of partitioning chromosomes into successive regions based on a similarity matrix of high-resolution, locus-level measurements. An intuitive way of doing this is to perform a modified Hierarchical Agglomerative Clustering (HAC), where only adjacent clusters (according to the ordering of positions within a chromosome) are allowed to be merged. A major practical drawback of this method is its quadratic time and space complexity in the number of loci, which is typically of the order of 10^4 to 10^5 for each chromosome. Results: By assuming that the similarity between physically distant objects is negligible, we propose an implementation of this adjacency-constrained HAC with quasi-linear complexity. Our illustrations on GWAS and Hi-C datasets demonstrate the relevance of this assumption, and show that this method highlights biologically meaningful signals. Thanks to its small time and memory footprint, the method can be run on a standard laptop in minutes or even seconds. Availability and Implementation: Software and sample data are available as an R package, adjclust, that can be downloaded from the Comprehensive R Archive Network (CRAN).

研究动机与目标

• 在 GWAS 和 Hi-C 研究中基于位点水平的相似性矩阵将染色体划分为区域的必要性动机。
• 开发一种带有邻接约束的层次聚类方法，使其能够扩展到大型基因组数据集。
• 利用带状相似性假设，以实现接近线性时间和线性空间复杂度。
• 提供高效实现及将该方法应用于基因组数据的实用指南。

提出的方法

• 通过仅在预定的基因组顺序上相邻簇之间进行合并来扩展层次凝聚聚类。
• 采用 Ward 的链接并用预先计算的相似性和来表示链接更新，通过 pencil-sum 表示法实现对每个候选合并的常数时间链接计算。
• 施加带状相似性假设，其中 s_ij = 0 当 |i-j| >= h 时，将存储量降低到 O(ph)，时间复杂度降至 O(p(h+log p))。
• 将候选合并存储在最小堆中，以便在每一步高效识别和更新最佳相邻合并，从而实现总体复杂度 O(p(h+log p))。
• 提供一个 R 实现 adjclust（带 C 核心）以及用于模型选择的指南（broken stick、slope heuristic）以选择聚类层级。

实验结果

研究问题

• RQ1 带状相似性矩阵的带有邻接约束的 HAC 能否在基因组学中产生生物学上有意义的分区？
• RQ2 带状假设（基于距离的稀疏性）是否能在不影响聚类质量的情况下提供显著的计算收益？
• RQ3 在 GWAS 的 LD 块和 Hi-C 数据上，该方法在树状图结构和可解释性方面的表现如何？
• RQ4 在基因组背景下，关于如何选择带宽 h 以及模型选择，可以给出哪些实际指导？

主要发现

• 带有带状相似矩阵的带邻接约束 Ward HAC 实现了准线性时间和线性空间复杂度，分别为 O(p(h+log p)) 和 O(ph)。
• 预先计算 pencil 基的和可实现对候选合并的 Ward 链接的常数时间计算。
• 使用最小堆来管理候选融合，提供了适用于大型基因组数据集的整体高效算法。
• 对 GWAS LD 块和 Hi-C 数据的实证结果显示，带状方法保持树状图结构并产生生物学上有意义的分区，效率高于全带方法。
• 对于 GWAS，当 h 适度较大时（例如 h ≥ 2000），降低带宽仍然能产生与全带宽几乎相同的树状图。
• Hi-C 分析表明，稀疏、带状聚类在显著降低计算时间和内存的同时，保持了与边界处的 TAD 类结构和 DI 富集相关的可解释性。