[論文レビュー] Discover Aggregates Exceptions over Hidden Web Databases

Saad Bin Suhaim, Weimo Liu+1 more|arXiv (Cornell University)|Nov 19, 2016

Web Data Mining and Analysis参考文献 17被引用数 4

ひとこと要約

本稿では、アマゾンやeBayのような動的で非公開のウェブデータベースにおける集計クエリ（例：AVG や SUM）の急激な変化（例外）を、きめ細やかなサンプリングとクエリの再発行技術を用いて、きめ細やかに検出する新規手法を提案する。複数の集計に対してサンプルを再利用し、高い影響を持つクエリ候補を優先することで、きびしいクエリ予算制約下でも再現性と正確性を著しく向上させ、実世界の実験でベースライン手法を上回る性能を示した。

ABSTRACT

Nowadays, many web databases "hidden" behind their restrictive search interfaces (e.g., Amazon, eBay) contain rich and valuable information that is of significant interests to various third parties. Recent studies have demonstrated the possibility of estimating/tracking certain aggregate queries over dynamic hidden web databases. Nonetheless, tracking all possible aggregate query answers to report interesting findings (i.e., exceptions), while still adhering to the stringent query-count limitations enforced by many hidden web databases providers, is very challenging. In this paper, we develop a novel technique for tracking and discovering exceptions (in terms of sudden changes of aggregates) over dynamic hidden web databases. Extensive real-world experiments demonstrate the superiority of our proposed algorithms over baseline solutions.

研究の動機と目的

• 制限されたクエリアクセスの下で、動的で非公開のウェブデータベースにおける集計クエリの急激な変化（例外）を検出する課題に対処すること。
• 各集計クエリを個別に処理する従来手法の非効率性（重複するサンプリングや無駄なクエリの発行）を克服すること。
• 複数の集計に対してサンプルを再利用することで、きびしい予算制約下でも情報量を最大化する手法を開発すること。
• 市場の変化や異常を示す、価格の低下や給与の上昇といった集計トレンドのリアルタイム監視を可能にすること。
• 非公開ウェブデータを監視する第三者アナリスト、政府機関、商業機関向けに、スケーラブルでクエリ効率の高いソリューションを提供すること。

提案手法

• 2段階のフレームワークを提案：(1) 候補となる集計を特定するクエリプール生成、(2) 層別サンプリングと知的クエリ再発行による例外検出。
• 推定された影響度と不確実性に基づいてクエリ候補を優先順位付けするスコア関数を導入し、単純なCOUNTベースの選択に代わる。
• 個々のサンプルを複数の集計クエリに再利用する層別サンプリング戦略を採用し、重複するクエリを削減。
• 残りの予算を高い影響を持つクエリに再割り当てする動的クエリ再発行メカニズムを採用し、推定精度を向上。
• サンプリング効率と適応的予算配分を統合したPRIORITY-UDOMETERアルゴリズムを適用し、より優れた例外検出を実現。
• 実世界のアマゾンおよびeBayのデータセットを活用し、1日あたり5,000クエリ程度の現実的なクエリ制限下で性能を評価。

実験結果

リサーチクエスチョン

• RQ1 きびしいクエリ制限下で、動的非公開ウェブデータベースにおける集計クエリ（例：AVG、SUM）の例外をどのように効率的に検出できるか？
• RQ2 複数の集計にわたるサンプル再利用によって、クエリコストをどれほど削減できるか、かつ推定精度を維持できるか？
• RQ3 スコアベースの優先順位付け戦略は、単純なCOUNTベースの選択に比べて、高い影響を持つ例外を特定する上でどの程度優れているか？
• RQ4 適応的再発行を組み合わせた層別サンプリングアプローチは、予算制約下でベースライン手法を上回る再現性と正確性を達成できるか？
• RQ5 本手法は、さまざまな種類の非公開ウェブデータベースおよび集計クエリワークロードにおいて、どの程度スケーラブルに機能するか？

主な発見

• PRIORITY-UDOMETERアルゴリズムは、特にクエリ予算が限られた状況（例：s ≥ 1000）で、UDOMETERよりも顕著に高い再現性と正確性を達成した。
• 候補の優先順位付けにスコア関数を用いることで、最高のCOUNTのみを選択する手法に比べて、kやサポート閾値が変化しても一貫して再現性と正確性が向上した。
• 2014年ブラック・フライデーにおけるアマゾンのFireスマートフォンの111ドルの価格下落といった、実世界の例外を正常に検出できた。これは本手法の実用的妥当性を裏付けた。
• 一部の候補を誤分類しても、PRIORITY-UDOMETERは全体のトレンド（例：11月20日におけるグレー色のスマートフォンの平均価格の低下）を正しく捉えていた。
• 個々のサンプルを複数の集計に再利用することで、重複するサンプリングを削減し、より高いクエリ効率と推定精度を実現した。
• 実世界のデータセットを用いた広範な実験から、きびしいクエリ制限下でも、本手法がベースラインソリューションを上回って急激な集計変化を検出できることを示した。