[论文解读] Fast, Incremental Inverted Indexing in Main Memory for Web-Scale Collections

Nima Asadi, Jimmy Lin|arXiv (Cornell University)|May 3, 2013

Algorithms and Data Compression参考文献 30被引用 4

一句话总结

本文提出了一种快速、增量式的倒排索引算法，可直接在主内存中为网络规模的数据集构建压缩的倒排列表。结果表明，将少量不连续的列表段分组共存可实现与完全连续列表几乎无法区分的查询性能，从而在在线索引中以极低的复杂度实现高速检索。

ABSTRACT

For text retrieval systems, the assumption that all data structures reside in main memory is increasingly common. In this context, we present a novel incremental inverted indexing algorithm for web-scale collections that directly constructs compressed postings lists in memory. Designing efficient in-memory algorithms requires understanding modern processor architectures and memory hierarchies: in this paper, we explore the issue of postings lists contiguity. Naturally, postings lists that occupy contiguous memory regions are preferred for retrieval, but maintaining contiguity increases complexity and slows indexing. On the other hand, allowing discontiguous index segments simplifies index construction but decreases retrieval performance. Understanding this tradeoff is our main contribution: We find that co-locating small groups of inverted list segments yields query evaluation performance that is statistically indistinguishable from fully-contiguous postings lists. In other words, it is not necessary to lay out in-memory data structures such that all postings for a term are contiguous; we can achieve ideal performance with a relatively small amount of effort.

研究动机与目标

• 设计一种高效、增量式的倒排索引算法，完全在主内存中运行于网络规模的文本数据集。
• 研究倒排列表连续性（用于更快的查询评估）与索引复杂度（用于更快的构建）之间的性能权衡。
• 确定在主内存系统中，维持倒排列表完全连续是否对高性能检索是必要的。
• 探索在在线环境中平衡索引速度、内存使用和查询评估效率的实际优化方法。

提出的方法

• 使用缓冲机制临时在内存中存储倒排列表段，之后将其合并为压缩的连续块。
• 采用PForDelta压缩技术高效存储整数编码的倒排列表，以减少内存占用。
• 将少量倒排列表段共存以改善缓存局部性，并减少查询评估期间的指针追逐。
• 通过使用在索引完成后即释放的临时缓冲映射，避免预分配或复杂的内存管理。
• 依赖现代处理器的缓存层次结构和预取机制，以缓解不连续内存访问带来的性能损失。
• 应用可变长度整数编码和间隙压缩技术，以减少术语位置等值的运行时内存开销。

实验结果

研究问题

• RQ1 在主内存信息检索系统中，倒排列表的连续性在多大程度上影响查询评估性能？
• RQ2 一种更简单、更快的索引算法，即使不强制实现完全连续，是否也能实现与完全连续倒排列表相当的检索性能？
• RQ3 将少量不连续列表段共存对缓存效率和整体查询速度有何影响？
• RQ4 当放松连续性约束时，索引性能（构建速度）与检索性能（查询延迟）之间的权衡如何？
• RQ5 是否可以使用临时缓冲和段合并技术，在极低内存开销和复杂度下实现接近最优的性能？

主要发现

• 将少量不连续的倒排列表段共存，可实现与完全连续倒排列表在统计上无法区分的查询评估性能。
• 当段被有效分组时，不连续倒排列表的性能损失极小，这是由于缓存局部性改善和预取行为优化所致。
• 在增量索引中维持完全连续性会引入显著复杂性并降低索引速度，而当应用共存策略时，这种做法并未带来可测量的检索性能提升。
• 所提出的基于缓冲的方案避免了内存碎片化，且无需预分配，这与传统基于磁盘的增量算法不同。
• 运行时内存开销是临时且可控的——128GB内存足以使用该方法索引5000万篇文档（ClueWeb09）。
• 使用压缩表示（如Rice码、可变长度整数）可减少缓冲内存使用，同时不牺牲索引速度或检索质量。