[论文解读] Digging Deeper into Deep Web Databases by Breaking Through the Top-k Barrier

Saravanan Thirumuruganathan, Nan Zhang+1 more|arXiv (Cornell University)|Aug 19, 2012

Data Management and Algorithms参考文献 20被引用 4

一句话总结

本文提出 GetNext，一种元算法，仅通过其公开的 top-k 接口、无需事先了解排序函数，即可从隐藏的网页数据库中检索出第 (h+1) 个最高排名的元组。通过迭代生成改写查询并基于结果分析测试候选元组，GetNext 实现了对超过 k 个元组的访问——突破了 top-k 的限制。实验表明，该方法在不到 500 次查询内成功检索出 250 个 Amazon DVD 标题，远低于 Amazon 的速率限制。

ABSTRACT

A large number of web databases are only accessible through proprietary form-like interfaces which require users to query the system by entering desired values for a few attributes. A key restriction enforced by such an interface is the top-k output constraint - i.e., when there are a large number of matching tuples, only a few (top-k) of them are preferentially selected and returned by the website, often according to a proprietary ranking function. Since most web database owners set k to be a small value, the top-k output constraint prevents many interesting third-party (e.g., mashup) services from being developed over real-world web databases. In this paper we consider the novel problem of "digging deeper" into such web databases. Our main contribution is the meta-algorithm GetNext that can retrieve the next ranked tuple from the hidden web database using only the restrictive interface of a web database without any prior knowledge of its ranking function. This algorithm can then be called iteratively to retrieve as many top ranked tuples as necessary. We develop principled and efficient algorithms that are based on generating and executing multiple reformulated queries and inferring the next ranked tuple from their returned results. We provide theoretical analysis of our algorithms, as well as extensive experimental results over synthetic and real-world databases that illustrate the effectiveness of our techniques.

研究动机与目标

• 解决 top-k 网页数据库接口仅限制访问少数已排序结果的问题，该问题阻碍了 mashup 和数据分析等第三方应用的使用。
• 在无需私有访问权限或数据库所有者合作的前提下，实现对隐藏网页数据库中超过 k 个最高排名元组的检索。
• 开发一种完全自动化且可扩展的解决方案，仅通过公开查询接口运行，避免昂贵且受速率限制的爬取。
• 通过分析查询结果推断未知排序函数，从而克服隐藏数据库中排序函数未知的挑战。

提出的方法

• 提出两步流程：候选生成与候选测试，以识别超出 top-k 结果的下一个最高排名元组。
• 通过改变属性值生成多个改写查询，以探测数据库接口并收集结果集。
• 在候选测试阶段，基于结果集的重叠和包含模式，判断某个元组是否可能高于尚未检索到的其他元组。
• 采用部分序推断机制，处理因查询选择性导致无法获得完整排序的情况。
• 利用频繁最小项集挖掘的原理，高效识别可能排在 top-k 之外的候选元组。
• 实现 ORDERED-GETNEXT 和 BEYOND-h-GETNEXT 算法，以优化查询成本与检索效率。

实验结果

研究问题

• RQ1 我们能否仅通过公开接口且在不了解排序函数的情况下，从隐藏网页数据库中检索出超过 top-k 限制的元组？
• RQ2 当排序函数未知时，可靠识别第 (h+1) 个排名元组所需的最少查询次数是多少？
• RQ3 如何设计一种系统化方法，用于生成和测试候选元组，以将其纳入扩展的 top-h 结果集中？
• RQ4 查询选择性在多大程度上影响检索过程的性能与完整性？
• RQ5 所提出的方法能否在具有速率限制和有限查询访问权限的真实数据库中实现可扩展性？

主要发现

• GetNext 算法成功在少于 500 次查询内检索出 top-250 个 Amazon DVD 标题，超出 Amazon 默认的 top-100 限制，远低于 Amazon 每 IP 每小时 2000 次查询的限制。
• 该算法在推断真实排序顺序方面表现出高准确性，Kendall-τ 相关系数随查询选择性降低而提高，表明在选择性较低的查询中表现更优。
• 候选测试阶段通过利用结果集重叠，有效减少了误报，显著提升了检索精度。
• 该方法具有高效可扩展性：随着查询选择性降低，所需查询数减少，因为候选测试阶段可更早终止。
• ORDERED-GETNEXT 在查询效率上优于 BEYOND-h-GETNEXT，尤其在 h 和 k 较大时表现更优，证明其在多样化工作负载下的鲁棒性。