[논문 리뷰] The Availability and Persistence of Web References in D-Lib Magazine

Frank McCown, Sheffan Chan외 2명|arXiv (Cornell University)|2005. 11. 21.

Web Data Mining and Analysis참고 문헌 15인용 수 54

한 줄 요약

이 연구는 1995년에서 2004년 사이에 출판된 D-Lib Magazine 기사들에 인용된 웹 참조의 가용성과 지속 가능성에 대해 분석한다. 25주 동안 4,387개의 URL을 테스트한 결과, 연구 종료 시점에 약 30%가 가용하지 않음을 확인했으며, URL의 반감기는 약 10년으로 나타났다. 또한 .edu 및 .net 도메인, 비표준 포트, 폐기된 파일 확장자와 같은 요소들이 실패의 예측 요소로 규명되었다.

ABSTRACT

We explore the availability and persistence of URLs cited in articles published in D-Lib Magazine. We extracted 4387 unique URLs referenced in 453 articles published from July 1995 to August 2004. The availability was checked three times a week for 25 weeks from September 2004 to February 2005. We found that approximately 28% of those URLs failed to resolve initially, and 30% failed to resolve at the last check. A majority of the unresolved URLs were due to 404 (page not found) and 500 (internal server error) errors. The content pointed to by the URLs was relatively stable; only 16% of the content registered more than a 1 KB change during the testing period. We explore possible factors which may cause a URL to fail by examining its age, path depth, top-level domain and file extension. Based on the data collected, we found the half-life of a URL referenced in a D-Lib Magazine article is approximately 10 years. We also found that URLs were more likely to be unavailable if they pointed to resources in the .net, .edu or country-specific top-level domain, used non-standard ports (i.e., not port 80), or pointed to resources with uncommon or deprecated extensions (e.g., .shtml, .ps, .txt).

연구 동기 및 목표

• 학술 디지털 라이브러리 출판물에 인용된 웹 참조의 장기적 가용성과 지속 가능성 평가.
• 학술 웹 참조에서 URL 손상(링크 부서짐)을 유발하는 체계적 요인 규명.
• 실제 디지털 라이브러리 환경에서 시간에 따른 링크 붕괴 속도와 패턴 정량화.
• 25주 모니터링 기간 동안 인용된 URL 뒤의 콘텐츠 안정성 평가.
• 디지털 보존 및 학술 출판의 인용 관행 향상을 위한 데이터 기반 통찰 제공.

제안 방법

• 1995년 7월에서 2004년 8월 사이에 출판된 D-Lib Magazine의 453편 기사에서 4,387개의 고유한 URL 수집.
• 2004년 9월에서 2005년 2월까지 25주 동안 매주 3회 자동으로 URL 가용성 검사 실시.
• 가용성 실패의 근본 원인을 파악하기 위해 HTTP 오류 코드를 분류하며, 주로 404(Not Found) 및 500(Internal Server Error)에 중점을 둠.
• 초기 및 최종 점검 시 파일 크기와 체크섬을 비교하여 콘텐츠 안정성 측정하고, 1 KB 이상의 변화가 발생한 경우 경고 표시.
• 상위 도메인(TLD), 경로 깊이, 파일 확장자, 포트 사용 여부 등의 URL 특성 분석을 통해 실패 예측 요소 규명.
• 테스트된 URL의 장애 발생 시간 데이터를 기반으로 생존 분석 기법을 사용해 URL의 반감기 추정.

실험 결과

연구 질문

• RQ1 D-Lib Magazine 기사에 인용된 웹 참조 중 25주 모니터링 기간 동안 얼마나 많은 비율이 가용한 상태를 유지하는가?
• RQ2 인용된 URL 뒤의 콘텐츠는 시간이 지남에 따라 어떻게 변화하는가? 그 중 얼마나 큰 비율이 중대한 수정을 겪는가?
• RQ3 TLD, 파일 확장자, 포트 사용 등 어떤 요소들이 URL의 가용성에 가장 강하게 연관되어 있는가?
• RQ4 D-Lib Magazine 기사에 인용된 URL의 추정 반감기는 얼마인가?
• RQ5 도메인 유형(예: .edu, .net, 국가별) 또는 기술적 구조에 따라 URL의 가용성 패턴은 어떻게 다를까?

주요 결과

• 첫 번째 점검 시 약 28%의 URL이 해결되지 않았고, 최종 점검 시 30%가 접근 불가능해져 링크 부서짐이 심각한 수준임을 시사한다.
• D-Lib Magazine 기사에 인용된 URL의 반감기는 약 10년으로, 이는 반기 안에 절반 이상의 URL이 가용하지 않음을 의미한다.
• URL 뒤의 콘텐츠가 1 KB 이상 변경된 경우는 총 16%에 불과하여, 대부분의 인용 콘텐츠가 시간이 지나도 안정적임을 나타낸다.
• 가용성 상실의 가장 흔한 원인은 HTTP 상태 코드 404(Not Found)와 500(Internal Server Error)였다.
• .edu, .net 및 국가별 상위 도메인에 속한 URL은 다른 도메인에 비해 상당히 더 높은 실패 확률을 보였다.
• 비표준 포트(80번 포트 외)와 흔하지 않거나 폐기된 파일 확장자(.shtml, .ps, .txt 등)는 URL 실패의 강력한 예측 요소였다.