[论文解读] Data structures to represent a set of k-long DNA sequences

Rayan Chikhi, Jan Holub+1 more|arXiv (Cornell University)|Mar 29, 2019

Algorithms and Data Compression参考文献 31被引用 16

一句话总结

本综述对用于高效存储和查询k长DNA序列集合的数据结构进行了统一分析与比较，重点关注空间效率、查询速度和构建时间。它评估了诸如基于unitig的索引和导航数据结构等专用结构，展示了其如何利用生物k-mer集合的谱系特性，实现接近最优的空间使用率，同时保持快速的成员查询和导航查询性能。

ABSTRACT

The analysis of biological sequencing data has been one of the biggest applications of string algorithms. The approaches used in many such applications are based on the analysis of k-mers, which are short fixed-length strings present in a dataset. While these approaches are rather diverse, storing and querying a k-mer set has emerged as a shared underlying component. A set of k-mers has unique features and applications that, over the last ten years, have resulted in many specialized approaches for its representation. In this survey, we give a unified presentation and comparison of the data structures that have been proposed to store and query a k-mer set. We hope this survey will serve as a resource for researchers in the field as well as make the area more accessible to researchers outside the field.

研究动机与目标

• 统一并比较用于表示k长DNA序列集合的现有数据结构，这些数据结构在现代生物信息学中具有核心作用。
• 识别并分析利用生物k-mer集合谱系特性的专用数据结构，以减少空间使用量。
• 评估不同数据结构类别在空间、查询时间和构建时间之间的权衡。
• 为理解k-mer集合表示中的空间下限和实际效率提供理论与实证基础。
• 通过标准化术语和查询操作，使该领域对理论计算机科学以外的研究人员更加友好。

提出的方法

• 将k-mer数据结构分为三类：非专用结构（如哈希表）、经改造的一般结构，以及专为k-mer集合设计的结构。
• 定义核心操作：成员查询（k-mer是否在集合中？）和导航查询（k-mer能否被扩展以形成集合中的另一个k-mer？）。
• 分析每种结构的空间复杂度、构建时间和查询时间，包括理论界限和实际性能表现。
• 聚焦于利用谱系特性减少空间至O(n + U(k−1))的unitig基表示，其中U为最大unitig的数量。
• 研究导航数据结构，其通过牺牲成员查询效率实现O(1)的扩展时间，优化空间和图式访问性能。
• 将结果与信息论下限进行比较，并讨论现有理论界限在实际应用中的局限性。

实验结果

研究问题

• RQ1 哪些关键设计原则使得k-mer集合在生物测序数据中能够实现空间高效表示？
• RQ2 基于unitig的数据结构如何利用谱系特性，与标准表示相比显著减少空间使用量？
• RQ3 k-mer集合数据结构在成员查询效率与导航查询效率之间存在何种权衡？
• RQ4 现有理论空间下限在多大程度上反映了真实生物数据集上的实际性能？
• RQ5 在何种场景下，专用k-mer数据结构相较于通用替代方案（如哈希表）表现更优？

主要发现

• 基于unitig的表示实现O(n + U(k−1))的空间复杂度，其中U为最大unitig的数量，当U ≪ n时，其空间效率显著优于完整k-mer集合。
• 导航数据结构可实现O(1)的k-mer扩展时间，但通常以牺牲成员查询效率为代价，因此适用于图算法。
• 谱系特性——即k-mer源自少量基础基因组序列——在实践中可实现显著的空间节省，尤其当U较小时更为明显。
• 尽管存在理论下限，真实世界数据通常允许数据结构实现接近最优性能，表明实例特定的界限比最坏情况界限更具信息量。
• 目前尚未对基于unitig和BOSS的表示进行全面的理论或实证比较，关于最优应用场景仍存在开放问题。
• 本综述指出了系统性基准测试和标准化评估方面的空白，呼吁建立精心整理的数据集和公正的工具比较，以推动该领域发展。