[논문 리뷰] Investigating the Change of Web Pages' Titles Over Time

Martin Klein, Michael L. Nelson|ArXiv.org|2009. 07. 20.

Web Data Mining and Analysis참고 문헌 23인용 수 3

한 줄 요약

이 논문은 웹 페이지 제목의 시간에 따른 안정성을 검토하기 위해 인터넷 아카이브 스냅샷을 사용하여, 손실된 웹 페이지를 재발견하는 데 사용할 수 있는 저비용 대체 수단으로서 어휘 서명(Lexical Signature, LS)의 타당성을 평가한다. 연구 결과, 제목은 매우 적은 빈도로 변화하며, 변화의 정도도 미미하여 변화 빈도가 낮고 레벤슈타인 유사도가 높다는 점에서 제목이 매우 안정적임을 보여주며, 이는 실시간 검색 기반 404 페이지 복구에 효과적임을 시사한다.

ABSTRACT

Inaccessible web pages are part of the browsing experience. The content of these pages however is often not completely lost but rather missing. Lexical signatures (LS) generated from the web pages' textual content have been shown to be suitable as search engine queries when trying to discover a (missing) web page. Since LSs are expensive to generate, we investigate the potential of web pages' titles as they are available at a lower cost. We present the results from studying the change of titles over time. We take titles from copies provided by the Internet Archive of randomly sampled web pages and show the frequency of change as well as the degree of change in terms of the Levenshtein score. We found very low frequencies of change and high Levenshtein scores indicating that titles, on average, change little from their original, first observed values (rooted comparison) and even less from the values of their previous observation (sliding).

연구 동기 및 목표

• 손실된 웹 페이지를 재발견하기 위한 어휘 서명(LS) 생성의 저비용 대체 수단으로서 웹 페이지 제목의 시간에 따른 안정성을 평가하기 위해.
• 웹 페이지가 404 오류 또는 관련 없는 콘텐츠를 반환할 경우, 제목이 충분히 일관성을 유지하여 신뢰할 수 있는 검색 쿼리로 사용될 수 있는지 판단하기 위해.
• 실시간 시스템에서 캐시된 콘텐츠나 링크 이웃 정보로부터 더 복잡한 LS 생성을 수행하기 전에 제목 기반 쿼리를 사용할 수 있는지의 타당성을 평가하기 위해.
• 더 복잡한 LS 생성에 도달하기 전에 제목을 다단계 탐색 파이프라인의 초도 쿼리로 활용할 잠재력을 탐색하기 위해.

제안 방법

• 랜덤으로 선정된 웹 페이지의 인터넷 아카이브(IA)에서 여러 스냅샷을 통해 시간에 따라 수집된 웹 페이지 제목을 확보하였다.
• 각 제목을 첫 번째로 관측된 버전(루트 기반 비교)과 바로 이전의 버전(슬라이딩 비교)과 비교하여 제목 변경 빈도를 계산하였다.
• 레벤슈타인 편집 거리 점수를 사용하여 제목 변경의 정도를 측정하였으며, 이는 한 문자열을 다른 문자열로 변환하기 위해 필요한 단일 문자 편집 수를 수량화한다.
• 모든 제목에 대해 레벤슈타인 점수의 분포를 분석하여 평균 유사도와 변경의 심각도를 평가하였다.
• 레벤슈타인 점수를 사용하여 변경의 빈도와 크기를 모두 정량화하였으며, 높은 점수는 더 높은 유사도와 더 적은 변경을 의미한다.
• 시간의 흐름에 따른 제목 안정성을 이해하기 위해 루트 기반(첫 번째 관측된 제목과 비교) 및 슬라이딩 기반(이전에 관측된 제목과 비교)의 두 비교 모델을 사용하여 평가하였다.

실험 결과

연구 질문

• RQ1 인터넷 아카이브의 여러 스냅샷을 통해 관측된 바, 웹 페이지 제목은 얼마나 자주 시간이 지남에 따라 변화하는가?
• RQ2 레벤슈타인 편집 거리로 측정했을 때, 웹 페이지 제목은 어휘적 내용 측면에서 얼마나 변화하는가?
• RQ3 제목을 처음 관측된 버전(루트 기반)과 바로 이전의 버전(슬라이딩 기반)과 비교했을 때, 제목 안정성은 어떻게 다를까?
• RQ4 제목이 시간에 따라 안정되어 있다면, 손실되거나 이동된 웹 페이지를 재발견하기 위해 검색 엔진 쿼리로 신뢰성 있게 사용될 수 있는가?

주요 결과

• 제목 변경의 빈도는 매우 낮으며, 대부분의 제목이 시간이 지나도 여러 스냅샷 동안 변화하지 않았다.
• 루트 기반 및 슬라이딩 기반 비교 모두에서 레벤슈타인 점수는 일관되게 높았으며, 이는 최소한의 어휘적 변화를 의미한다.
• 평균적으로, 제목은 처음 관측된 버전(루트 기반)과 비교했을 때보다 바로 이전에 관측된 버전(슬라이딩 기반)과 비교했을 때 훨씬 적은 변화를 보였다. 이는 제목이 초도 변경 이후 안정화됨을 시사한다.
• 높은 레벤슈타인 점수는 제목이 시간이 지나도 원래 의미와 구조를 유지하며 매우 안정적임을 의미하며, 이는 검색 기반 탐색에 있어 신뢰할 수 있음을 시사한다.
• 결과는 제목을 어휘 서명(LS)의 저비용이고 효과적인 대체 수단으로 사용할 수 있음을 뒷받침하며, 손실된 웹 페이지를 복구하기 위해 검색 엔진에 쿼리로 활용할 수 있음을 시사한다.
• 제목의 안정성은 실시간 시스템에서 404 오류 발생 시 더 비싼 LS 계산이 이루어지기 전에 관련 결과를 신속히 제공하는 데 사용될 수 있음을 시사한다.