[論文レビュー] Optimal Algorithms for Crawling a Hidden Database in the Web

Cheng Sheng, Nan Zhang+2 more|arXiv (Cornell University)|Aug 1, 2012

Web Data Mining and Analysis参考文献 4被引用数 4

ひとこと要約

この論文は、静的リンクではなく動的インターフェースを介してクエリ可能なWebアクセス可能なデータベース（隠しデータベース）を、すべてのタプルを抽出するために必要なクエリ回数を最小限に抑える、証明可能に最適なアルゴリズムを提示する。提案手法には、数値データ向けの rank-shrink と、カテゴリカルデータ向けの lazy-slice-cover が含まれ、これらは漸近的に最適であり、実験的にも優れた性能を示す。ハイブリッドアルゴリズムにより、タプルを段階的に取得することが可能となる。

ABSTRACT

A hidden database refers to a dataset that an organization makes accessible on the web by allowing users to issue queries through a search interface. In other words, data acquisition from such a source is not by following static hyper-links. Instead, data are obtained by querying the interface, and reading the result page dynamically generated. This, with other facts such as the interface may answer a query only partially, has prevented hidden databases from being crawled effectively by existing search engines. This paper remedies the problem by giving algorithms to extract all the tuples from a hidden database. Our algorithms are provably efficient, namely, they accomplish the task by performing only a small number of queries, even in the worst case. We also establish theoretical results indicating that these algorithms are asymptotically optimal -- i.e., it is impossible to improve their efficiency by more than a constant factor. The derivation of our upper and lower bound results reveals significant insight into the characteristics of the underlying problem. Extensive experiments confirm the proposed techniques work very well on all the real datasets examined.

研究の動機と目的

• 従来のリンクベースのクローリングではアクセスできないが、インターフェースを介してクエリ可能な隠しデータベースを、効率的にクローリングする課題に対処すること。
• 最悪ケースにおいても、可能な限り少ないクエリ回数で隠しデータベース内のすべてのタプルを抽出するアルゴリズムを開発すること。
• 提案されたアルゴリズムが漸近的に最適であることを証明するための理論的下界を確立すること—つまり、クエリ効率を定数要因を超えて向上させることのできるアルゴリズムは存在しないことの証明。
• 実用的で、段階的に結果を出力するクローリングアルゴリズムを設計し、途中で中止された場合でも有用な結果を得られるようにすること。
• さまざまな実世界のデータセット（Yahoo! Autos や NSF など）において、クエリ結果制限 k の変化に応じて、アルゴリズムの性能を評価すること。

提案手法

• 数値データのみのデータセット向けに、rank-shrink アルゴリズムを提案。範囲クエリを用いて再帰的にデータ空間を分割することで、重複や重複する結果を最小限に抑える。
• スライスカバーとその最適化版である lazy-slice-cover を導入。属性値に基づく階層的パーティショニングを用いて、すべての可能なタプルの組み合わせを効率的にカバーする。
• 数値属性とカテゴリカル属性を併用する混合属性データセットに対応するため、rank-shrink と lazy-slice-cover を統合したハイブリッドアルゴリズムを設計。クエリごとに最適な戦略を動的に選択する。
• 理論的分析を活用して、クエリ複雑度の上界と下界を導出し、最悪状況下でのアルゴリズムの漸近的最適性を証明する。
• スライスカバーにおける遅延評価などのヒューリスティクスを実装し、不必要なクエリを減らして実行時間の性能を向上させつつ、正しさを損なわないようにする。
• 段階的なクエリ実行を活用して、タプルが順次出力されるようにし、クローラーが途中で中止されても有用な部分集合を得られるようにする。

実験結果

リサーチクエスチョン

• RQ1 固定された結果制限 k を持つ隠しデータベースからすべてのタプルを抽出するために必要な最小クエリ回数は何か？
• RQ2 最悪の入力分布下でも、クエリ複雑度において証明可能に最適なアルゴリズムを設計できるか？
• RQ3 属性タイプ（数値、カテゴリカル、または混合）は、クローリングアルゴリズムの構造と効率にどのように影響を与えるか？
• RQ4 段階的に結果を出力するクローリングアルゴリズムを設計できるか。これにより、部分的な実行でも意味のあるタプルのサブセットが得られるか？
• RQ5 スライスカバーにおける遅延評価のようなヒューリスティクス最適化は、理論的保証を損なわずに実用的性能をどのように向上させるか？

主な発見

• rank-shrink アルゴリズムは、数値データセットにおいて漸近的に最適であり、理論的下界と定数倍の差異まで一致するクエリ複雑度を達成する。
• lazy-slice-cover アルゴリズムは、実際のカテゴリカルデータセット（例：NSF）において、スライスカバーとDFSを上回る性能を示す。ただし、スライスカバーは最悪ケースで理論的に最適である。
• ハイブリッドアルゴリズムは、rank-shrink と lazy-slice-cover を効果的に統合し、Yahoo! Autos や Adult のような混合属性データセットにおいても、安定した性能を発揮する。
• 実験では、ハイブリッドアルゴリズムが線形的な進行性を示している：全クエリの20％の時点で、約30％のタプルが取得されており、時間経過に伴い一貫性があり、予測可能な出力が得られる。
• 実際のデータでは、rank-shrink のクエリコストは次元数 d に対してほぼ線形に増加するが、理論的には線形依存が予測されている。これは、実データ（例：Adult-numeric）では3方向分割がまれであるためである。
• 高頻度のタプル再結合（例：Yahoo! Autos で64個以上の同一タプル）を示すデータセットでは、k が小さすぎる（例：k=64）と、いかなるアルゴリズムでもデータベースを完全に抽出できない。これは、データ分布がクエリの実行可能性に与える影響を強調している。