[论文解读] AliBI: An Alignment-Based Index for Genomic Datasets

Héctor Ferrada, Travis Gagie+2 more|arXiv (Cornell University)|Jul 24, 2013

Algorithms and Data Compression参考文献 23被引用 3

一句话总结

AliBI 提出了一种基于对齐的基因组数据索引（AliBI），该索引利用预先对齐的人类基因组，通过替代传统的 LZ77 解析，提升了空间效率和随机访问性能。通过将对齐信息直接整合到索引结构中，并用基于对齐的过滤替代 LZ77 解析，AliBI 减少了预处理开销，实现了更快的近似模式匹配，同时保持了紧凑的存储。

ABSTRACT

With current hardware and software, a standard computer can now hold in RAM an index for approximate pattern matching on about half a dozen human genomes. Sequencing technologies have improved so quickly, however, that scientists will soon demand indexes for thousands of genomes. Whereas most researchers who have addressed this problem have proposed completely new kinds of indexes, we recently described a simple technique that scales standard indexes to work on more genomes. Our main idea was to filter the dataset with LZ77, build a standard index for the filtered file, and then create a hybrid of that standard index and an LZ77-based index. In this paper we describe how to our technique to use alignments instead of LZ77, in order to simplify and speed up both preprocessing and random access.

研究动机与目标

• 解决随着测序成本降低和普及化，高效索引数千个人类基因组的日益增长的挑战。
• 克服标准 FM-index 空间效率低下的问题，其空间占用几乎随基因组数量线性增长，原因在于对基因组重复性的利用有限。
• 开发一种混合索引方法，在保持与现有 FM-index 基础设施向后兼容的同时，实现对大规模基因组数据集的可扩展性。
• 通过用基于对齐的过滤替代 LZ77 解析，减少预处理时间并提升随机访问性能。
• 将对齐元数据直接集成到索引结构中，利用对齐基因组中的结构冗余性，而无需单独存储对齐结果。

提出的方法

• 以预先对齐的基因组序列（对齐至参考基因组）作为输入，假设已知模式长度（M）和编辑距离（K）的上限。
• 标记所有位于错配（SNP 或 indel）周围 M+K−1 范围内的字符，以及所有参考基因组中的字符。
• 将未标记区域向两侧各扩展 M+K−1 个字符，以确保所有次级匹配均完全包含在未标记区域中。
• 使用 K+1 个 '#' 字符作为分隔符，将所有标记子串（包括参考基因组）连接起来，仅存储每个不同子串一次，并附带相关指针。
• 在连接后的字符串上构建标准 FM-index，以支持快速的近似模式匹配和随机访问。
• 在参考基因组大小范围内的网格上使用二维范围报告数据结构，将参考基因组中的主匹配映射到对齐基因组中的次级匹配，利用基因组间的位置一致性。

实验结果

研究问题

• RQ1 是否可以利用对齐信息替代混合基因组索引中的 LZ77 解析，以降低预处理成本并提升性能？
• RQ2 将对齐元数据直接集成到索引结构中，与单独存储对齐结果相比，是否能带来显著的空间节省？
• RQ3 使用基于对齐的过滤是否能简化并加速近似模式匹配中的随机访问操作？
• RQ4 在索引大小、预处理时间和查询速度方面，基于对齐的索引与基于 LZ77 或标准 FM-index 的方法相比表现如何？
• RQ5 对齐基因组的结构相似性在多大程度上可被用于压缩用于次级匹配恢复的范围报告数据结构？

主要发现

• AliBI 用基于对齐的过滤替代了 LZ77 解析，消除了完整 LZ77 解析的计算需求，从而减少了预处理时间。
• 该索引直接集成对齐信息，避免了对对齐结果的单独存储，通过结构冗余的利用降低了空间占用。
• 由于去除了 LZ77 解析并利用对齐元数据实现更快的匹配解析，预计随机访问性能将得到提升。
• 范围报告数据结构的大小受参考基因组大小限制，而非整个数据集，从而实现了更高效的空间使用和更快的查询速度。
• 通过利用对齐基因组间的位置一致性，可使用压缩的二维范围报告结构高效恢复次级匹配。
• 初步预期表明，当扩展到数千个基因组时，AliBI 的索引将显著小于标准 FM-index，且运行速度更快。