[論文レビュー] Simple Search Engine Model: Adaptive Properties

Mahyuddin K. M. Nasution|arXiv (Cornell University)|Dec 17, 2012

Web Data Mining and Analysis参考文献 2被引用数 13

ひとこと要約

本稿は、集合論とシングルトンベクタ空間を用いて検索語とそのウェブページ出現を表現することで、検索エンジンとクエリの関係に対する形式的モデルを提案する。確率的包含関係と集合演算を通じて適応的性質を確立し、重複するページに存在する非交差検索語が等しい結果セットサイズを示すことを示しており、情報検索システムにおける意味的同等性の検出を可能にする。

ABSTRACT

In this paper we study the relationship between query and search engine by exploring the adaptive properties based on a simple search engine. We used set theory and utilized the words and terms for defining singleton space of event in a search engine model, and then provided the inclusion between one singleton to another.

研究の動機と目的

• 検索クエリと検索エンジンの関係を数学的構造を用いて形式化すること。
• 検索語とウェブページをイベントのシングルトン空間内のベクトルとしてモデル化し、意味的表現を行うこと。
• 集合論的および確率的演算を通じて、検索エンジンの適応的性質を探索すること。
• 異なる検索語に共通するウェブページの重複が、結果セットの基数および意味的同等性に与える影響を分析すること。
• 同一のウェブページ出現を共有する異なる検索語間の意味的同等性を検出する基盤を提供すること。

提案手法

• 検索エンジンを、インデックス化された語-ページペア (t_k, ω_k) の集合として定義し、多次元イベント空間 Ω を形成する。
• 特定の語 t_x を含むウェブページの集合であるシングルトン検索エンジンイベント Ω_x を導入し、その基数 |Ω_x| を定義する。
• 語の関連性に関する不確実性をモデル化するため、一様確率質量関数 P(ω) = 1/|Ω| を適用する。
• 関連性の判定に論理的含意 ω ⇒ t_x を用い、語出現の確率 P(Ω_x) = |Ω_x|/|Ω| を得る。
• 複数の検索語とその結果セット間の関係をモデル化するために、集合演算（和集合、積集合）を適用する。
• レムマ1およびレムマ2を用いて、共通語のない非交差語は独立した結果セットを示し、非交差語間で共通するウェブページが存在する場合、結果セットサイズが等しくなることを証明する。

実験結果

リサーチクエスチョン

• RQ1 クエリと検索エンジンの関係を、集合論と確率論を用いて形式的にどのようにモデル化できるか？
• RQ2 ウェブページインデックスにおけるシングルトンベクタ空間としての検索語のモデル化によって、どのような適応的性質が生じるか？
• RQ3 異なる検索語が検索エンジンで同じ結果セットサイズを生成する条件は何か？
• RQ4 結果セットに対する集合演算は、検索語間の意味的関係をどのように反映するか？
• RQ5 語彙的重複が存在しない状況下で、共有されるウェブページ出現を通じて、異なる語間の意味的同等性を検出できるか？

主な発見

• 2つの検索語 t_x と t_z が非交差（t_x ∩ t_z = ∅）であるが、同じウェブページ集合に存在する（ω_x ∩ ω_z ≠ ∅）場合、それらの結果セットサイズは等しい：|Ω_x| = |Ω_z|。
• 共通語のない非交差語 t_y と t_z に対して、それらの結果セットの積集合は空集合である：|Ω_y ∩ Ω_z| = 0、和集合のサイズは |Ω_y| + |Ω_z| である。
• このモデルは、語彙的に異なるが同一のウェブページに同時に出現する語の間では、意味的同等性の下で結果セットサイズが不変であることを示している。
• 語の出現確率はウェブインデックス全体に一様に分布しており、k語からなる語に対して P(t_k) = 1/(2^k - 1) が成り立つ。
• このモデルは結果セットの再帰的加算を支持する：|Ω_x| = |Ω_x| + |Ω_y| + ... + |Ω_z| であり、より大きな結果セットがより小さい独立したセットから構築可能であることを示している。
• Yahoo!検索を用いた実証的検証では、「Mahyuddin K. M. Nasution」という語が3,440件のヒットを示した一方、その構成語は異なる数のヒットを示しており、語集合の包含関係と確率の理論的モデルを支持する。