[论文解读] Computing alignment plots efficiently

Peter Krusche, Alexander Tiskin|ArXiv.org|Sep 10, 2009

Algorithms and Data Compression参考文献 11被引用 4

一句话总结

本文提出了一种高度高效的数据并行算法，使用编辑距离而非汉明距离计算对齐图，通过向量化操作和seaweed算法，相较于标准动态规划方法实现了最高达10.2倍的加速。该方法使用γ宽向量操作在O(mnw/γ)时间内计算两个字符串所有w窗口对之间的编辑距离，实验结果表明在生物序列上性能显著提升，并展现出强大的并行可扩展性。

ABSTRACT

Dot plots are a standard method for local comparison of biological sequences. In a dot plot, a substring to substring distance is computed for all pairs of fixed-size windows in the input strings. Commonly, the Hamming distance is used since it can be computed in linear time. However, the Hamming distance is a rather crude measure of string similarity, and using an alignment-based edit distance can greatly improve the sensitivity of the dot plot method. In this paper, we show how to compute alignment plots of the latter type efficiently. Given two strings of length m and n and a window size w, this problem consists in computing the edit distance between all pairs of substrings of length w, one from each input string. The problem can be solved by repeated application of the standard dynamic programming algorithm in time O(mnw^2). This paper gives an improved data-parallel algorithm, running in time $O(mnw/γ/p)$ using vector operations that work on $γ$ values in parallel and $p$ processors. We show experimental results from an implementation of this algorithm, which uses Intel's MMX/SSE instructions for vector parallelism and MPI for coarse-grained parallelism.

研究动机与目标

• 通过用编辑距离替代汉明距离，提高生物序列比对中点图的敏感性。
• 开发一种实用且高性能的对齐图计算算法，能够随输入规模高效扩展。
• 利用向量化操作和并行计算，显著降低与重复应用动态规划相比的运行时间。
• 通过SIMD和MPI在真实生物序列上展示算法的可扩展性和性能提升。

提出的方法

• 该算法使用seaweed算法进行半局部序列比对，计算两个字符串所有w窗口对之间的编辑距离。
• 通过在γ宽值上应用向量化操作，实现多个对齐分数的并行处理，将时间复杂度降低至O(mnw/γ)。
• 通过在每个字符前插入特殊字符来转换输入字符串，以建模缺口惩罚，使标准LCS计算能够生成编辑得分。
• 使用分布矩阵高效计算seaweed算法所需的最高得分子矩阵。
• 实现采用C++，结合Intel MMX和SSE内嵌函数实现向量并行，使用MPI实现多处理器间的粗粒度并行化。
• 该算法针对窗口大小w = 100进行了优化，由于对齐DAG的常数大小膨胀，输入字符串在预处理时扩展为w = 200。

实验结果

研究问题

• RQ1 对齐图能否比重复应用标准动态规划算法更高效地计算？
• RQ2 向量化操作和并行化在多大程度上能减少对齐图编辑距离计算的运行时间？
• RQ3 在真实生物序列上，基于seaweed的算法与现有方法（如BLCS和启发式DP）相比实际表现如何？
• RQ4 该算法在多核和分布式系统上进行大规模序列比对时的可扩展性如何？

主要发现

• 在使用8位向量操作（Sea-8）的Linux桌面系统上，基于seaweed的算法相较于启发式DP方法（Heur）实现了最高10.2倍的加速。
• Sea-8实现比现有最佳方法（BLCS）快逾7倍，适用于长度为200的序列。
• 在拥有64个核心的IBM HPC集群上，对于最大数据集，该算法相较于单核Heur方法实现了20.5倍的加速。
• 该算法展现出强大的可扩展性，当从1个核心扩展到64个核心时，最大数据集的加速比达到14.9倍（使用MPI）。
• 与16位操作（Sea-16）相比，使用8位向量操作（Sea-8）将运行时间减少了2.6倍，表明数据类型优化具有显著优势。
• 该方法在所有测试数据集上均优于BLCS和Heur，尤其在长序列上性能提升最为显著。