[論文レビュー] Fast, Incremental Inverted Indexing in Main Memory for Web-Scale Collections

Nima Asadi, Jimmy Lin|arXiv (Cornell University)|May 3, 2013

Algorithms and Data Compression参考文献 30被引用数 4

ひとこと要約

この論文では、ウェブ規模のコレクション向けに、メインメモリ上に直接圧縮されたポストイングリストを構築する高速で段階的な逆インデックスアルゴリズムを提示する。連続したリストと同等のクエリ性能が達成可能であることが示された。すなわち、非連続なリストセグメントの小さなグループを同じ場所に配置することで、完全に連続したリストと差がない統計的性能が得られ、オンラインインデキシングにおいて最小限の複雑さで高い検索速度を実現可能である。

ABSTRACT

For text retrieval systems, the assumption that all data structures reside in main memory is increasingly common. In this context, we present a novel incremental inverted indexing algorithm for web-scale collections that directly constructs compressed postings lists in memory. Designing efficient in-memory algorithms requires understanding modern processor architectures and memory hierarchies: in this paper, we explore the issue of postings lists contiguity. Naturally, postings lists that occupy contiguous memory regions are preferred for retrieval, but maintaining contiguity increases complexity and slows indexing. On the other hand, allowing discontiguous index segments simplifies index construction but decreases retrieval performance. Understanding this tradeoff is our main contribution: We find that co-locating small groups of inverted list segments yields query evaluation performance that is statistically indistinguishable from fully-contiguous postings lists. In other words, it is not necessary to lay out in-memory data structures such that all postings for a term are contiguous; we can achieve ideal performance with a relatively small amount of effort.

研究の動機と目的

• ウェブ規模のテキストコレクション向けに、完全にメインメモリ上で動作する効率的で段階的な逆インデックスアルゴリズムを設計すること。
• クエリ評価の高速化に寄与するポストイングリストの連続性と、構築の高速化に寄与するインデキシングの複雑さの間のパフォーマンストレードオフを調査すること。
• メインメモリシステムにおいて、ポストイングリストの完全な連続性を維持する必要があるかを特定すること。
• オンライン環境において、インデキシング速度、メモリ使用量、クエリ評価効率のバランスを取る実用的な最適化を検討すること。

提案手法

• 一時的にメモリ上にポストイングリストセグメントを保持するバッファリング機構を用い、それらを圧縮済みの連続ブロックに統合する。
• 整数符号化されたポストイングリストの効率的格納のため、PForDelta圧縮を採用し、メモリ使用量を削減する。
• キャッシュ局所性の向上とクエリ評価時のポインタ追跡の削減を目的に、小さな逆インデックスセグメントグループを共配置する。
• 事前割り当てや複雑なメモリ管理を回避するため、インデキシング完了後に解放される一時的バッファマップを使用する。
• 現代のプロセッサのキャッシュ階層とプリフェッチ機能を活用し、非連続メモリアクセスによるパフォーマンス損失を緩和する。
• 作業メモリのオーバーヘッドを削減するため、変動長整数符号化とギャップ圧縮を用いる。

実験結果

リサーチクエスチョン

• RQ1 メインメモリ情報検索システムにおいて、ポストイングリストの連続性は、クエリ評価パフォーマンスにどの程度影響を与えるか？
• RQ2 完全な連続性を保証しないが、より単純で高速なインデキシングアルゴリズムが、完全に連続したポストイングリストと同等の検索パフォーマンスを達成できるか？
• RQ3 非連続なリストセグメントの小さなグループを共配置することで、キャッシュ効率と全体のクエリ速度にどのような影響を与えるか？
• RQ4 連続性制約を緩和した場合、インデキシングパフォーマンス（構築速度）と検索パフォーマンス（クエリ遅延）のトレードオフはどのようなものか？
• RQ5 一時的バッファリングとセグメントの統合を用いることで、最小限のメモリオーバーヘッドと複雑さでほぼ最適なパフォーマンスを達成できるか？

主な発見

• 非連続な逆インデックスセグメントの小さなグループを共配置することで、完全に連続したポストイングリストと差がない統計的クエリ評価パフォーマンスが得られる。
• 適切にグループ化されたセグメントでは、キャッシュ局所性とプリフェッチ動作の向上により、非連続ポストイングリストによるパフォーマンス損失は最小限に抑えられる。
• 段階的インデキシング中に完全な連続性を維持することは、顕著な複雑さをもたらし、インデキシングを遅くするが、共配置が適用されている場合には、検索パフォーマンスに顕著な利益をもたらさない。
• 提案されたバッファリングベースのアプローチは、メモリ断片化を回避し、従来のオンディスク段階的アルゴリズムとは異なり、事前割り当てを必要としない。
• 作業メモリのオーバーヘッドは一時的で管理可能であり、128GBのRAMで5000万件のドキュメント（ClueWeb09）をこの方法でインデキシングするのに十分である。
• Riceコードや変動長整数などの圧縮表現の使用により、バッファメモリ使用量が削減され、かつインデキシング速度や検索品質に影響を与えない。