[論文レビュー] The Anatomy of Mitos Web Search Engine

Panagiotis Papadakos, Giorgos Vasiliadis+15 more|ArXiv.org|Mar 14, 2008

Web Data Mining and Analysis参考文献 11被引用数 8

ひとこと要約

本稿では、データベース管理システム（DBMS）に基づくインデックスを用いることで、拡張性・保守性・機能豊富さに優れた情報検索を実現するWeb検索エンジン、Mitosを提示する。逆インデックス方式（例：Terrier）と比較して、ストレージ消費量が多く、クエリ処理が遅いものの、ギリシャ語の語幹抽出、リアルタイムでの結果クラスタリング、リンク解析によるスパム検出といった高度な機能をサポートしており、14,246件の文書（全コレクションの97%以上）を2,892秒でインデックス化した。これに対してTerrierは11,699件（80.6%）を11,694秒で処理した。

ABSTRACT

Engineering a Web search engine offering effective and efficient information retrieval is a challenging task. This document presents our experiences from designing and developing a Web search engine offering a wide spectrum of functionalities and we report some interesting experimental results. A rather peculiar design choice of the engine is that its index is based on a DBMS, while some of the distinctive functionalities that are offered include advanced Greek language stemming, real time result clustering, and advanced link analysis techniques (also for spam page detection).

研究の動機と目的

• 高度な言語処理とリアルタイムでの結果整理をサポートする、機能豊富で拡張性のあるWeb検索エンジンの設計および実装。
• 従来の逆インデックスとは異なり、主にDBMSをインデックス構造として使用する場合の利点と課題を評価すること。
• 多言語環境下における語幹抽出が、検索の再現性、代替文書要約、クエリ拡張の質に与える影響を調査すること。
• 生産環境に近い環境下で、リアルタイムでの結果クラスタリングおよび分類体系構築の実現可能性と性能を検討すること。
• 実世界のWebコレクションを用いて、Mitosの性能とスケーラビリティを、Terrierのような既存の情報検索システムと比較すること。

提案手法

• システムは関係データベース管理システム（RDBMS）を用いて逆インデックスを格納し、スキーマの柔軟性と削除・新規クロール文書の更新を効率的に行えるようにしている。
• クローラーは再帰的にWebページを取得し、一意のIDを割り当て、メタデータとハイパーリンクを構造化されたファイルに保存する。
• インデクサは語彙解析、ストップワード除去、ギリシャ語の語幹抽出を実行した後、語の頻度、重み、PageRankをDBMSに格納する。
• クエリ処理はベクトルモデル、ブールモデル、拡張ブールモデル、ファジー検索をサポートし、上位結果に基づくクエリの提案と拡張が可能である。
• リアルタイムでの結果クラスタリングは複数のアルゴリズムを用いて実施され、抽出された本文から文書の要約が生成される。
• スパム検出は、人間によるレビューを経て特定された疑わしいページを活用し、リンク解析に基づくランク付けを改善するために用いられる。

実験結果

リサーチクエスチョン

• RQ1 Web検索において、DBMSに基づくインデックスは、従来の逆インデックス方式と比較して、ストレージ消費、インデキシング時間、クエリパフォーマンスの点でどのように異なるか？
• RQ2 高度なギリシャ語語幹抽出処理が、検索再現性、インデックスサイズ、クエリ提案および文書要約の質に与える影響は何か？
• RQ3 リアルタイムでの結果クラスタリングは、Web検索エンジンにおけるユーザーのナビゲーションと結果の整理に、どの程度効果をもたらすか？
• RQ4 人間によるフィードバックを組み合わせたスパム検出において、リンク解析の有効性はどの程度か？
• RQ5 大規模な文書コレクションへのスケーリングを想定した場合、DBMSインデックスを用いたシステムのパフォーマンス特性はどのようなものか？

主な発見

• Mitosは14,246件（コレクション全体の97.2%）の文書を2,892秒でインデックス化した。これは、Terrier v.1.1が11,699件（80.6%）を11,694秒で処理したのと比較して顕著な優位性を示した。
• DBMSベースのインデックスは214.99 MBのストレージを要した（全容量の7.4%）。これに対してTerrierは23.8 MB（0.8%）であり、顕著なストレージオーバーヘッドが生じた。
• Mitosのクエリ評価時間は、クエリ語の数に応じて増加し、10語のクエリでは平均0.3212秒であった。一方、Terrierはあらゆるクエリ長で0.0044秒というミリ秒未満の応答時間を維持した。
• 遅延が見られるものの、Mitosはより高い再現性を示し、10語のクエリにおいて、Terrierと比較して平均90.23件の追加文書が検出された。
• 語幹抽出処理は再現性を向上させるとともにインデックスサイズを削減したが、クラスタ名の読みやすさとクエリ拡張提案の質に悪影響を与えた。
• コーパス内の語の頻度分布はべき乗則に従っており、システム設計に一般的な情報検索の仮定を適用することが妥当であることを裏付けた。