[논문 리뷰] Semantic-Sensitive Web Information Retrieval Model for HTML Documents

Youssef Bassil, Paul Semaan|arXiv (Cornell University)|2012. 04. 01.

Web Data Mining and Analysis참고 문헌 12인용 수 6

한 줄 요약

이 논문은 HTML 문서를 위한 의미론적 민감한 정보 검색 모델을 제안하며, 의미 웹 벡터 모델(SWVM)과 새로운 BTF-IDF 가중치 부여 방식을 도입하여 의미적으로 중요한 HTML 태그(예: title, header)에 있는 용어를 강조하고, 동의어 기반 용어 확장을 통합한다. 실험 결과 정밀도와 재현율이 크게 향상되어 의미론적 인식과 어휘 변형 처리를 통한 관련 문서 검색이 향상됨을 입증한다.

ABSTRACT

With the advent of the Internet, a new era of digital information exchange has begun. Currently, the Internet encompasses more than five billion online sites and this number is exponentially increasing every day. Fundamentally, Information Retrieval (IR) is the science and practice of storing documents and retrieving information from within these documents. Mathematically, IR systems are at the core based on a feature vector model coupled with a term weighting scheme that weights terms in a document according to their significance with respect to the context in which they appear. Practically, Vector Space Model (VSM), Term Frequency (TF), and Inverse Term Frequency (IDF) are among other long-established techniques employed in mainstream IR systems. However, present IR models only target generic-type text documents, in that, they do not consider specific formats of files such as HTML web documents. This paper proposes a new semantic-sensitive web information retrieval model for HTML documents. It consists of a vector model called SWVM and a weighting scheme called BTF-IDF, particularly designed to support the indexing and retrieval of HTML web documents. The chief advantage of the proposed model is that it assigns extra weights for terms that appear in certain pre-specified HTML tags that are correlated to the semantics of the document. Additionally, the model is semantic-sensitive as it generates synonyms for every term being indexed and later weights them appropriately to increase the likelihood of retrieving documents with similar context but different vocabulary terms. Experiments conducted, revealed a momentous enhancement in the precision of web IR systems and a radical increase in the number of relevant documents being retrieved. As further research, the proposed model is to be upgraded so as to support the indexing and retrieval of web images in multimedia-rich web documents.

연구 동기 및 목표

• 기존의 정보 검색 모델이 구조적이고 의미론적으로 풍부한 HTML 문서를 다루는 데에 한계를 가진다는 문제를 해결하기 위해.
• <title>, <h1>, <meta>와 같은 특정 HTML 태그의 의미론적 중요성을 활용하여 검색 정확도를 향상시키기 위해.
• 어휘 변형을 다루기 위해 동의어 기반 용어 확장을 통합하여 문서 색인 및 검색을 향상시키기 위해.
• HTML 웹 페이지의 구조적 및 의미론적 특성에 맞게 특화된 벡터 모델과 가중치 부여 방식을 개발하기 위해.
• 미래의 정보 검색 시스템에서 웹 이미지와 같은 다중미디어 콘텐츠를 지원하기 위한 기반을 마련하기 위해.

제안 방법

• 의미론적으로 유의미한 HTML 태그에 있는 용어에 더 높은 가중치를 할당함으로써 HTML 문서에 적합하게 조정된 벡터 공간 모델인 의미 웹 벡터 모델(SWVM)을 제안한다.
• 특정 태그 내 용어 빈도와 역문서 빈도를 조합하여 의미론적으로 관련성이 높은 용어를 강조하는 BTF-IDF(Body-Tag Frequency-Inverse Document Frequency) 가중치 부여 방식을 도입한다.
• 각 색인된 용어에 대해 어휘 자원을 사용하여 동의어를 생성한 후, 동의어에 적절한 가중치를 할당하여 의미적으로 유사한 쿼리에 대한 재현율을 향상시킨다.
• HTML 태그의 구조적 메타데이터를 기능 벡터 표현에 통합하여 모델의 문서 의미론적 민감도를 향상시킨다.
• 표준 정보 검색 평가 지표(정밀도, 재현율)를 사용하여 웹 문서 코퍼스에서 기준 모델과의 성능을 비교한다.
• 문자 구조(HTML 태그)와 의미 확장(동의어)을 결합한 하이브리드 접근 방식을 통해 검색의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 정보 검색 모델은 어떻게 의미적으로 구조화된 HTML 문서를 더 잘 색인하고 검색할 수 있도록 개선될 수 있는가?
• RQ2 특정 HTML 태그에 있는 용어에 더 높은 가중치를 할당할 경우 검색 정밀도와 재현율은 얼마나 향상되는가?
• RQ3 동의어 기반 용어 확장은 의미적으로 관련성이 높지만 어휘 형태가 다른 문서의 검색을 어떻게 크게 향상시킬 수 있는가?
• RQ4 웹 문서 검색의 맥락에서 제안된 BTF-IDF 가중치 부여 방식은 표준 TF-IDF와 비교해 어떻게 다른가?
• RQ5 미래의 웹 정보 검색 시스템에서 이미지와 같은 다중미디어 콘텐츠를 지원하기 위해 이 모델을 어떻게 확장할 수 있는가?

주요 결과

• 제안된 SWVM 및 BTF-IDF 모델은 기준 TF-IDF 모델에 비해 검색 정밀도를 크게 향상시켰다.
• 특히 어휘 변형이 있는 쿼리에 대해 관련 문서의 수가 급격히 증가하였다.
• <title> 및 <h1>와 같은 고의미가치 HTML 태그에 나타나는 용어는 더 높은 가중치를 받았으며, 이는 문서의 관련성과의 보다 좋은 일치를 이끌어냈다.
• 동의어 확장은 의미적으로 유사하지만 어휘가 다른 문서를 검색함으로써 재현율 향상에 기여하였다.
• 모델은 표준 정보 검색 평가 지표에서 뛰어난 성능을 보였으며, 실제 웹 검색 환경에서의 강건성과 효과성을 입증하였다.
• 저자들은 이 모델이 향후 이미지와 같은 다중미디어 기반 웹 문서를 지원하기 위한 유망한 기반을 제공한다고 결론 내렸다.