[논문 리뷰] Ranking Search Engine Result Pages based on Trustworthiness of Websites

K. C. Srikantaiah, P. L. Srikanth외 4명|arXiv (Cornell University)|2012. 09. 24.

Web Data Mining and Analysis참고 문헌 14인용 수 4

한 줄 요약

이 논문은 사실의 정확성을 기반으로 웹사이트의 신뢰성을 평가하여 검색 결과 페이지의 순서를 매기는 새로운 알고리즘인 PCF-Engine을 제안한다. 검증된 진술과 웹 상의 사실을 비교하는 확률 기반 유사도 함수를 사용하여 사실의 정확성을 평가함으로써, 기존의 투표(Voting) 및 TruthFinder와 같은 접근 방식보다 순서 매기기 정확도가 향상되며, 시뮬레이션 결과는 사실성 평가에서 뛰어난 성능을 보여준다.

ABSTRACT

The World Wide Web (WWW) is the repository of large number of web pages which can be accessed via Internet by multiple users at the same time and therefore it is Ubiquitous in nature. The search engine is a key application used to search the web pages from this huge repository, which uses the link analysis for ranking the web pages without considering the facts provided by them. A new algorithm called Probability of Correctness of Facts(PCF)-Engine is proposed to find the accuracy of the facts provided by the web pages. It uses the Probability based similarity function (SIM) which performs the string matching between the true facts and the facts of web pages to find their probability of correctness. The existing semantic search engines, may give the relevant result to the user query but may not be 100% accurate. Our algorithm computes trustworthiness of websites to rank the web pages. Simulation results show that our approach is efficient when compared with existing Voting and Truthfinder[1] algorithms with respect to the trustworthiness of the websites.

연구 동기 및 목표

• 현재의 검색 엔진이 관련성은 확보하고 있음에도 불구하고 사실 정확성 확보에 한계가 있다는 문제를 해결하기 위해.
• 사실의 정확성에 기반한 웹사이트의 신뢰성을 고려하여 검색 결과 순서를 향상시키기 위해.
• 링크 분석과 키워드 매칭을 초월하여 웹 컨텐츠의 신뢰성을 정량화하는 방법을 개발하기 위해.
• 기존의 신뢰 기반 순서 매기기 알고리즘과 비교하여 제안된 접근 방식의 효과성을 평가하기 위해.
• 사실 정확성이 높은 웹사이트를 우선시하여 더 정확하고 신뢰할 수 있는 검색 경험을 제공하기 위해.

제안 방법

• PCF-Engine은 각 웹 페이지에 대한 사실의 정확도 확률(Probability of Correctness of Facts, PCF)을 확률 기반 유사도 함수(SIM)를 사용하여 계산한다.
• SIM 함수는 웹 페이지의 사실과 검증된 진술 간의 문자열 매칭을 수행하여 정확도의 가능성(likelihood of correctness)을 추정한다.
• 신뢰성 점수는 사용자가 제공한 사실과 알려진 진술 간의 일치 정도를 반영하는 PCF 값에서 유도된다.
• 이 알고리즘은 이러한 신뢰 점수를 검색 결과 순서 매기기 과정에 통합하여 더 정확한 웹사이트를 우선시한다.
• 이 방법은 투표(Voting) 및 TruthFinder 알고리즘과의 성능 비교를 위한 시뮬레이션 실험을 통해 평가된다.
• 평가 초점은 다양한 데이터셋에서 신뢰성 평가 정확도 향상 여부에 맞춰져 있다.

실험 결과

연구 질문

• RQ1 웹 페이지의 사실 정확성을 검색 결과 순서 향상에 기여하기 위해 정량적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 사실 정확성의 통합이 검색 엔진 결과의 신뢰성에 어느 정도 기여하는가?
• RQ3 제안된 PCF-Engine은 기존의 신뢰 기반 순서 매기기 방법인 투표(Voting) 및 TruthFinder와 비교해 어떻게 다를까?
• RQ4 확률 기반 유사도 함수는 웹 페이지의 사실 정확성을 효과적으로 추정할 수 있는가?
• RQ5 사실 정확성은 검색 엔진 결과 순서의 총합 신뢰성에 어떤 영향을 미치는가?

주요 결과

• PCF-Engine은 투표(Voting) 및 TruthFinder 알고리즘보다 웹사이트의 신뢰성을 평가하는 데 뛰어난 성능을 보였다.
• 시뮬레이션 결과는 제안된 방법이 사실 정확성에 기반해 신뢰할 수 있는 자료를 더 높은 정확도로 식별할 수 있음을 보여주었다.
• 확률 기반 유사도 함수는 웹 사실과 진술 간의 일치 정도를 효과적으로 포착하였다.
• 사실 정확성을 순서 매기기 과정에 통합함으로써 검색 결과의 총합 신뢰성이 향상되었다.
• 다양한 시험 환경에서 신뢰성 평가에 일관된 향상이 나타났다.
• PCF-Engine은 사실 검증을 통해 검색 결과 품질을 향상시키는 확장 가능하고 효과적인 메커니즘을 제공한다.