[논문 리뷰] Web Pages Clustering: A New Approach

H E Jeevan, P P Prashanth외 2명|arXiv (Cornell University)|2011. 08. 26.

Data Mining Algorithms and Applications참고 문헌 15인용 수 3

한 줄 요약

이 논문은 어휘적 모호성을 해결하고 맥락 인식 결과 클러스터링을 향상시키기 위해 표준 사전을 활용하는 새로운 웹 페이지 클러스터링 방법을 제안한다. 사전 기반 맥락 분석을 메타검색 엔진과 통합함으로써, 특히 다의어 키워드 처리 시 검색 효율성과 결과의 관련성 향상이 가능해진다.

ABSTRACT

The rapid growth of web has resulted in vast volume of information. Information availability at a rapid speed to the user is vital. English language (or any for that matter) has lot of ambiguity in the usage of words. So there is no guarantee that a keyword based search engine will provide the required results. This paper introduces the use of dictionary (standardised) to obtain the context with which a keyword is used and in turn cluster the results based on this context. These ideas can be merged with a metasearch engine to enhance the search efficiency.

연구 동기 및 목표

• 키워드 기반 웹 검색에서 동일한 단어가 여러 의미를 가질 수 있는 어휘적 모호성 문제를 해결하기 위해.
• 표준 사전에서 유도된 맥락적 의미를 통합함으로써 검색 결과의 관련성 향상.
• 수집된 웹 페이지의 맥락 인식 클러스터링을 통해 메타검색 엔진의 효율성과 정확도 향상.
• 키워드 빈도가 아닌 의미적 맥락에 기반한 페이지 그룹화를 통해 사용자가 관련 없는 결과를 걸러내는 데 드는 노력 감소.

제안 방법

• 방법은 표준 사전을 사용하여 검색 쿼리 내 키워드의 의미적 맥락을 결정한다.
• 웹 페이지 내 키워드의 사용 방식을 분석하여 사전 정의에 기반한 맥락적 의미를 식별한다.
• 사전에서 유도된 의미적 특징을 사용하여 웹 페이지 간의 맥락 유사도를 계산함으로써 더 정확한 클러스터링을 가능하게 한다.
• 기존 메타검색 엔진과 통합하여 문맥 기반으로 결과를 그룹화하고, 문법적 유사성 기반이 아닌 의미 기반으로 클러스터링을 수행한다.
• 벡터 공간 모델을 사용하여 사전 항목에서 유도된 맥락 인식 단어 가중치를 강화함으로써 클러스터링을 수행한다.
• 사전에 의해 결정된 쿼리어휘의 주요 의미에 따라 시스템이 동적으로 클러스터링을 조정한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 웹 검색에서 어휘적 모호성을 효과적으로 해결하여 결과 클러스터링을 향상시킬 수 있는가?
• RQ2 표준 사전을 사용할 경우 웹 페이지 클러스터링의 의미 정확도가 얼마나 향상되는가?
• RQ3 맥락 인식 클러스터링은 관련 결과를 검색하는 데 있어 메타검색 엔진의 성능을 향상시킬 수 있는가?
• RQ4 정확도 측면에서 사전 기반 맥락 분석은 전통적인 키워드 기반 클러스터링과 비교해 어떻게 다른가?

주요 결과

• 제안된 방법은 사전 기반 맥락 분석을 통해 키워드의 다의어 문제를 해결함으로써 클러스터링 정확도를 크게 향상시킨다.
• 결과적으로 맥락 인식 클러스터링은 기존의 키워드 기반 클러스터링에 비해 관련 없는 결과 그룹화를 줄이는 데 성공했다.
• 메타검색 엔진과의 통합을 통해 관련 결과 클러스터를 더 빨리 식별할 수 있었으며, 사용자 검색 효율성이 향상되었다.
• 표준 사전의 사용은 다양한 웹 콘텐츠 간 일관되고 재현 가능한 의미적 해석을 가능하게 했다.