[논문 리뷰] Simple Search Engine Model: Adaptive Properties

Mahyuddin K. M. Nasution|arXiv (Cornell University)|2012. 12. 17.

Web Data Mining and Analysis참고 문헌 2인용 수 13

한 줄 요약

이 논문은 집합 이론과 싱글턴 벡터 공간을 사용하여 검색어와 검색 엔진 간의 관계를 형식화하는 모델을 제안한다. 검색어와 그들이 나타나는 웹 페이지의 발생 빈도를 표현하기 위해 이를 사용한다. 확률적 포함과 집합 연산을 통해 적응성 있는 성질을 수립하며, 겹치는 페이지에 존재하는 상호배타적인 검색어는 동일한 결과 집합 크기를 갖는다는 것을 보여주며, 이는 정보 검색 시스템에서 의미적 동치성 탐지에 기여한다.

ABSTRACT

In this paper we study the relationship between query and search engine by exploring the adaptive properties based on a simple search engine. We used set theory and utilized the words and terms for defining singleton space of event in a search engine model, and then provided the inclusion between one singleton to another.

연구 동기 및 목표

• 수학적 구조를 사용하여 검색어와 검색 엔진 간의 관계를 형식화한다.
• 검색어와 웹 페이지를 이벤트의 싱글턴 공간 내의 벡터로 모델링하여 의미적 표현을 구현한다.
• 집합 이론적 및 확률적 연산을 통해 검색 엔진의 적응성 특성을 탐구한다.
• 다른 검색어 간에 겹치는 웹 페이지가 영향을 주는 결과 집합의 기수와 의미적 동치성에 대해 분석한다.
• 서로 다른 검색어 간의 의미적 동치성을 공유되는 웹 페이지 발생 빈도 기반으로 탐지할 수 있는 기초를 제공한다.

제안 방법

• 검색 엔진을 색인된 용어-페이지 쌍(t_k, ω_k)의 집합으로 정의하며, 이는 다차원 이벤트 공간 Ω를 형성한다.
• 특정 용어 t_x를 포함하는 웹 페이지 집합인 싱글턴 검색 엔진 이벤트 Ω_x를 도입하며, 기수 |Ω_x|를 포함한다.
• 용어의 관련성에 대한 불확실성을 모델링하기 위해 균일한 확률질량함수 P(ω) = 1/|Ω|를 적용한다.
• 관련성 여부를 판단하기 위해 논리적 함의 ω ⇒ t_x를 사용하며, 용어 발생 확률 P(Ω_x) = |Ω_x|/|Ω|로 표현한다.
• 여러 검색어 간의 관계와 그 결과 집합을 모델링하기 위해 집합 연산(합집합, 교집합)을 적용한다.
• 레마 1과 레마 2를 활용하여, 공통 단어가 없는 상호배타적인 용어는 독립적인 결과 집합을 가지며, 비겹치는 용어 간에 공통 웹 페이지가 존재할 경우 결과 집합 크기가 동일하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 어떻게 집합 이론과 확률을 사용하여 질의와 검색 엔진 간의 관계를 형식화할 수 있는가?
• RQ2 웹 페이지 색인에서 검색어를 싱글턴 벡터 공간으로 모델링할 경우, 검색 엔진의 어떤 적응성 특성이 드러나는가?
• RQ3 어떤 조건에서 서로 다른 두 검색어가 동일한 결과 집합 크기를 갖는가?
• RQ4 결과 집합에 대한 집합 연산은 검색어 간의 의미적 관계를 어떻게 반영하는가?
• RQ5 어휘적 겹침이 없는 상황에서, 공유되는 웹 페이지 발생 빈도를 통해 서로 다른 용어 간의 의미적 동치성을 탐지할 수 있는가?

주요 결과

• 두 검색어 t_x와 t_z가 상호배타적일 때(t_x ∩ t_z = ∅)지만 동일한 웹 페이지 집합에 존재할 경우(ω_x ∩ ω_z ≠ ∅), 그 결과 집합 크기는 동일하다: |Ω_x| = |Ω_z|.
• 공통 단어가 없는 상호배타적 용어 t_y와 t_z에 대해, 그 결과 집합의 교집합은 공집합이다: |Ω_y ∩ Ω_z| = 0이며, 합집합의 크기는 |Ω_y| + |Ω_z|이다.
• 모델은 의미적 동치성 하에서 용어의 결과 집합 크기가 변하지 않음을 보여주며, 이는 단어가 다르더라도 동일한 웹 페이지에 함께 등장할 경우에 해당한다.
• 용어 발생 확률은 웹 색인 전역에 균일하게 분포하며, k단어 용어의 경우 P(t_k) = 1/(2^k - 1)이다.
• 결과 집합의 재귀적 추가가 가능함을 보여주며, |Ω_x| = |Ω_x| + |Ω_y| + ... + |Ω_z|로 표현되며, 이는 더 큰 결과 집합이 더 작은 독립적인 집합들로부터 구성될 수 있음을 시사한다.
• Yahoo! 검색을 활용한 실증 검증에서 "Mahyuddin K. M. Nasution"이라는 용어는 3,440건의 검색 결과를 반환하였고, 그 구성 요소들은 다양한 수의 결과를 보였으며, 이는 용어 집합 포함 및 확률 이론 모델의 타당성을 뒷받침한다.