[论文解读] Diversification Based Static Index Pruning - Application to Temporal Collections

Zeynep Pehlivan, Benjamin Piwowarski+1 more|arXiv (Cornell University)|Aug 22, 2013

Advanced Image and Video Retrieval Techniques参考文献 26被引用 3

一句话总结

本文提出了一种基于多样性的静态索引剪枝方法，通过为每个词项选择top-k条倒排列表以最大化DCG，并利用时间感知分布的贪心算法，从而在网页存档集合中保留时间多样性。实验表明，该方法在时间查询中显著优于忽略多样性的剪枝方法，其中Simple和Sliding窗口策略在检索效果上表现更优。

ABSTRACT

Nowadays, web archives preserve the history of large portions of the web. As medias are shifting from printed to digital editions, accessing these huge information sources is drawing increasingly more attention from national and international institutions, as well as from the research community. These collections are intrinsically big, leading to index files that do not fit into the memory and an increase query response time. Decreasing the index size is a direct way to decrease this query response time. Static index pruning methods reduce the size of indexes by removing a part of the postings. In the context of web archives, it is necessary to remove postings while preserving the temporal diversity of the archive. None of the existing pruning approaches take (temporal) diversification into account. In this paper, we propose a diversification-based static index pruning method. It differs from the existing pruning approaches by integrating diversification within the pruning context. We aim at pruning the index while preserving retrieval effectiveness and diversity by pruning while maximizing a given IR evaluation metric like DCG. We show how to apply this approach in the context of web archives. Finally, we show on two collections that search effectiveness in temporal collections after pruning can be improved using our approach rather than diversity oblivious approaches.

研究动机与目标

• 为解决时间性网页存档中索引过大导致查询响应时间下降的挑战。
• 通过在索引剪枝过程中保留时间多样性来提升检索效果，而现有方法忽略了这一点。
• 开发一种静态剪枝方法，将搜索结果多样性整合到索引压缩中。
• 在真实世界的时间性数据集上评估该方法，并与最先进的剪枝技术进行比较。
• 探讨不同时间窗口策略（Simple、Sliding、Dynamic）对剪枝性能的影响。

提出的方法

• 提出一种基于多样性的静态索引剪枝框架，基于贪心算法选择倒排列表以最大化DCG。
• 针对每个词项，计算其在文档时间戳上的时间分布，以建模时间覆盖范围。
• 采用三种策略——Simple、Sliding和Dynamic窗口——来定义词项与查询关联的时间范围。
• 应用改进的贪心算法，选择能最大化IR指标（DCG）且确保时间多样性的top-k条倒排列表。
• 在离线剪枝过程中，采用时间感知评分方法同时估计相关性和多样性。
• 在两个公开数据集上验证该方法：LATimes（非时间性）和WIKI（时间性），包含相关性判断和时间查询。

实验结果

研究问题

• RQ1 通过引入时间多样性剪枝，能否提升网页存档中索引剪枝的检索效果？
• RQ2 不同的时间窗口策略（Simple、Sliding、Dynamic）如何影响基于多样性的剪枝性能？
• RQ3 与忽略多样性的剪枝方法相比，是否多样化感知剪枝在时间查询的DCG和MAP指标上表现更优？
• RQ4 剪枝程度如何影响检索性能？多样化的优势是否在不同剪枝比率下依然存在？
• RQ5 时间区间的粒度（例如，按天或按世纪）在多大程度上影响基于多样性的剪枝效果？

主要发现

• 在所有查询类型和剪枝水平下，Simple和Sliding窗口策略显著优于IP-u和2N2P基线方法。
• 在低剪枝水平下，性能甚至超过未剪枝的索引，表明有效去除了低质量倒排列表。
• Dynamic窗口策略表现较差，可能是因为使用高斯混合模型（GMM）对时间分布聚类效果不佳。
• 对于时间跨度更广的查询（如按十年或世纪），不同方法之间的性能差距缩小，因为时间多样性变得不那么关键。
• 所提方法在不同时间查询类型下均保持稳定性能，表现出良好的鲁棒性和可扩展性。
• 实验结果证实，多样化感知剪枝能有效提升时间性数据集中的检索效果，尤其在细粒度时间查询中表现更优。