[论文解读] Discover Aggregates Exceptions over Hidden Web Databases

Saad Bin Suhaim, Weimo Liu+1 more|arXiv (Cornell University)|Nov 19, 2016

Web Data Mining and Analysis参考文献 17被引用 4

一句话总结

本文提出了一种新颖的分层采样与查询重发技术，以高效检测动态隐藏网页数据库（如 Amazon 和 eBay）上聚合查询（如 AVG 和 SUM）中的突发性变化（异常）。通过在多个聚合查询间重用样本并优先处理高影响的查询候选，该方法在严格查询预算约束下显著提升了召回率与精确率，在真实世界实验中优于基线方法。

ABSTRACT

Nowadays, many web databases "hidden" behind their restrictive search interfaces (e.g., Amazon, eBay) contain rich and valuable information that is of significant interests to various third parties. Recent studies have demonstrated the possibility of estimating/tracking certain aggregate queries over dynamic hidden web databases. Nonetheless, tracking all possible aggregate query answers to report interesting findings (i.e., exceptions), while still adhering to the stringent query-count limitations enforced by many hidden web databases providers, is very challenging. In this paper, we develop a novel technique for tracking and discovering exceptions (in terms of sudden changes of aggregates) over dynamic hidden web databases. Extensive real-world experiments demonstrate the superiority of our proposed algorithms over baseline solutions.

研究动机与目标

• 解决在查询访问受限的条件下，检测动态隐藏网页数据库中聚合查询突发性变化（异常）的挑战。
• 克服现有方法将每个聚合查询独立处理所导致的采样冗余与查询浪费问题。
• 开发一种在多个聚合查询间重用样本的技术，以在严格预算约束下最大化信息增益。
• 实现实时监控聚合趋势（如价格下跌、薪资上涨）的能力，以识别市场变动或异常信号。
• 为第三方分析师、政府机构及商业实体提供可扩展、查询高效的解决方案，用于监控隐藏网页数据。

提出的方法

• 提出两阶段框架：(1) 查询池生成，用于识别候选聚合查询；(2) 通过分层采样与智能查询重发实现异常检测。
• 引入一种评分函数，基于估计影响与不确定性对查询候选进行优先排序，替代简单的 COUNT 基选择方法。
• 采用分层采样策略，将单个样本在多个聚合查询间重用，以减少冗余查询。
• 使用动态查询重发机制，将剩余预算分配给高影响查询，以提升估计精度。
• 应用 PRIORITY-UDOMETER 算法，结合采样效率与自适应预算分配，实现更优的异常检测效果。
• 利用来自 Amazon 和 eBay 的真实世界数据集，在实际查询限制（如每天 5,000 次查询）下评估性能。

实验结果

研究问题

• RQ1 在严格查询限制下，如何高效检测动态隐藏网页数据库中聚合查询（如 AVG、SUM）的异常？
• RQ2 在多个聚合查询间重用样本，能在多大程度上降低查询成本，同时保持估计精度？
• RQ3 基于评分的优先排序策略与仅基于最高 COUNT 的选择方法相比，在识别高影响异常方面表现如何？
• RQ4 在预算约束下，结合自适应重发的分层采样方法是否能优于基线方法，在召回率与精确率方面表现更优？
• RQ5 所提出方法在不同类型隐藏网页数据库及不同聚合查询工作负载下，扩展性如何？

主要发现

• PRIORITY-UDOMETER 算法在查询预算受限时（例如 s ≥ 1000）显著优于 UDOMETER，召回率与精确率均更高。
• 使用评分函数进行候选优先排序，始终优于仅选择最高 COUNT 的方法，在不同 k 值与支持阈值下均提升了召回率与精确率。
• 该方法成功检测到真实世界异常事件，例如 2014 年黑色星期五 Amazon Fire 智能手机价格从 111 美元暴跌，证实了其实际应用价值。
• 即使在部分候选被误分类的情况下，PRIORITY-UDOMETER 仍能正确捕捉整体趋势，例如 11 月 20 日灰色手机平均价格的下降。
• 通过在多个聚合查询间重用单一样本，该方法显著减少了冗余采样，从而提升了查询效率与估计精度。
• 在真实世界数据集上的大量实验表明，所提方法在严格查询限制下检测突发性聚合变化方面，优于基线解决方案。