[论文解读] DisC Diversity: Result Diversification based on Dissimilarity and Coverage

Marina Drosou, Evaggelia Pitoura|arXiv (Cornell University)|Aug 17, 2012

Data Management and Algorithms被引用 12

一句话总结

本文提出 DisC 多样性，一种新颖的结果多样化方法，通过可调半径参数确保所选对象之间的相互不相似性，同时选择最小对象子集以覆盖所有查询结果。该方法利用启发式算法与基于 M-tree 的索引结构，高效计算多样化子集，并可通过调整半径实现自适应的‘缩放’操作，实验结果表明其具有高效性能与直观的结果适应能力。

ABSTRACT

Recently, result diversification has attracted a lot of attention as a means to improve the quality of results retrieved by user queries. In this paper, we propose a new, intuitive definition of diversity called DisC diversity. A DisC diverse subset of a query result contains objects such that each object in the result is represented by a similar object in the diverse subset and the objects in the diverse subset are dissimilar to each other. We show that locating a minimum DisC diverse subset is an NP-hard problem and provide heuristics for its approximation. We also propose adapting DisC diverse subsets to a different degree of diversification. We call this operation zooming. We present efficient implementations of our algorithms based on the M-tree, a spatial index structure, and experimentally evaluate their performance.

研究动机与目标

• 为解决现有多样性模型依赖固定大小选择或基于阈值的评分方法的局限性，提出一种统一且直观的多样性定义。
• 将结果多样化形式化为最小 r-DisC 多样化子集问题，确保覆盖所有查询结果，并保证所选对象之间的相互不相似性。
• 通过调整半径参数实现多样性水平的动态调节（即‘缩放’），无需从头开始重新计算，从而控制子集大小与多样性水平。
• 设计基于空间索引（M-tree）的高效可扩展算法，适用于大规模数据集，性能优于暴力搜索或贪心方法。
• 提供解质量的理论边界，并通过真实与合成数据集上的实验，证明方法的实际有效性。

提出的方法

• 将 DisC 多样性定义为 r-DisC 多样化子集，其中结果集中的每个对象至少与一个所选对象的距离在半径 r 之内，且任意两个所选对象之间的距离均大于 r。
• 将问题建模为图上的独立支配集（IDS）问题，其中距离在 r 之内的对象之间建立边，目标是寻找最小 IDS 作为最优的 DisC 多样化子集。
• 提出多种启发式方法（如基础与贪心方法）以近似最小 DisC 多样化子集，权衡计算速度与解集大小。
• 设计增量式算法实现缩放（缩小 r 时为缩放进入，增大 r 时为缩放退出），重用先前计算结果以降低计算成本。
• 利用 M-tree 索引结构实现算法，加速邻近对象查找，提升查询效率。
• 通过未来扩展集成相关性考虑，例如加权 DisC 集或每对象独立的半径，但核心方法专注于纯粹的多样性。

实验结果

研究问题

• RQ1 如何定义多样性，以确保完全覆盖查询结果，同时保持所选对象之间的相互不相似性？
• RQ2 寻找最小 r-DisC 多样化子集的计算复杂度如何？如何高效地进行近似求解？
• RQ3 是否可通过动态调整半径（即‘缩放’）实现多样性的自适应调节？如何在不重新计算的前提下高效实现？
• RQ4 所提出的启发式方法与增量缩放算法在真实世界与合成数据集上的解质量与性能表现如何比较？
• RQ5 空间索引结构（如 M-tree）在多大程度上可加速 r-DisC 多样化子集的计算？

主要发现

• 寻找最小 r-DisC 多样化子集的问题是 NP-难问题，证实了需要采用启发式近似方法。
• 计算 DisC 多样化子集的基线启发式方法比其贪心变体更快，但产生的子集更大，表明效率与紧凑性之间存在权衡。
• 在实践中，放松不相似性条件并不会显著减小子集大小，表明严格不相似性对于实现有意义的多样性是有效且必要的。
• 增量式缩放算法生成的结果集更符合用户预期，且大小与重新计算的子集相近，同时显著降低计算成本。
• 基于 M-tree 的实现表现出高效性能，尤其在邻近对象查找方面，这对可扩展性至关重要。
• 所提出的缩放机制通过允许用户动态调节多样性水平（全局或围绕特定对象局部调节），实现了直观的用户交互。