[논문 리뷰] Analyzing the Persistence of Referenced Web Resources with Memento

Robert Sanderson, Mark Edward Phillips외 1명|arXiv (Cornell University)|2011. 05. 17.

Semantic Web and Ontologies인용 수 24

한 줄 요약

이 연구는 Memento 프레임워크를 활용해 학술 논문에 인용된 웹 자원의 지속 가능성에 대해 분석한다. 자동화된 방식으로 보관된 버전을 탐색한다. arXiv와 UNT 디지털 라이브러리의 160,000개 이상의 URL을 분석한 결과, arXiv에서 인용된 URL의 45%는 여전히 접근 가능하지만 보존되어 있지 않으며, UNT에서 인용된 자료의 28%는 이미 손실된 것으로 나타나, 학술 자료 보관소에서 사전에 웹 아카이빙이 이루어져야 하는 긴급한 필요성을 드러낸다.

ABSTRACT

In this paper we present the results of a study into the persistence and availability of web resources referenced from papers in scholarly repositories. Two repositories with different characteristics, arXiv and the UNT digital library, are studied to determine if the nature of the repository, or of its content, has a bearing on the availability of the web resources cited by that content. Memento makes it possible to automate discovery of archived resources and to consider the time between the publication of the research and the archiving of the referenced URLs. This automation allows us to process more than 160000 URLs, the largest known such study, and the repository metadata allows consideration of the results by discipline. The results are startling: 45% (66096) of the URLs referenced from arXiv still exist, but are not preserved for future generations, and 28% of resources referenced by UNT papers have been lost. Moving forwards, we provide some initial recommendations, including that repositories should publish URL lists extracted from papers that could be used as seeds for web archiving systems.

연구 동기 및 목표

• 다양한 디지털 보관소에서 출간된 학술 논문에 인용된 웹 자원의 장기적 지속 가능성과 가용성을 평가하기 위해.
• 보관소 특성 또는 콘텐츠 유형이 인용된 URL의 생존율에 영향을 미치는지 조사하기 위해.
• Memento 프레임워크가 인용된 웹 자원의 보관된 버전을 자동으로 탐색하는 데 효과적인지 평가하기 위해.
• 링크 루트(link rot)로 인한 학술 커뮤니케이션의 체계적 위험을 밝히고, 보관소에 대한 실행 가능한 권고안을 제시하기 위해.

제안 방법

• 인용된 웹 자원의 보관된 버전에 시간 기반으로 접근하기 위해 Memento 프레임워크를 활용하였다.
• arXiv와 UNT 디지털 라이브러리에서 출간된 논문들에 인용된 160,000개 이상의 URL을 수집하고 분석하였다.
• Memento의 타임트래블 인터페이스를 사용해 각 인용된 URL이 검색 시점에 가용성 상태를 확인하고 매핑하였다.
• 보관소 유형과 학문 분야를 메타데이터 기반으로 분류하여 결과를 분류하였다.
• 자동화된 HTTP 요청과 Memento 대응 크롤러를 활용해, URL이 다양한 시점에 보관되어 있고 접근 가능한지 여부를 판단하였다.
• 통계적 분석을 통해 보관소 간 지속 가능성 비율을 비교하고, 콘텐츠 유형 및 출판 일자와 관련된 추세를 파악하였다.

실험 결과

연구 질문

• RQ1 다양한 디지털 보관소에서 출간된 학술 논문에 인용된 웹 자원의 링크 루트(link rot) 비율은 어떠한가?
• RQ2 보관소의 성격(예: arXiv 대비 UNT 디지털 라이브러리)이 인용된 URL의 지속 가능성에 어떤 영향을 미치는가?
• RQ3 인용된 웹 자원이 얼마나 보존되어 있으며, 이는 학문 분야에 따라 어떻게 달라지는가?
• RQ4 Memento 프레임워크는 학술 문헌 내 웹 자원 지속 가능성 평가를 자동화하는 데 효과적으로 활용될 수 있는가?
• RQ5 URL의 사라름이 학술 재현 가능성과 연구 맥락의 장기적 접근 가능성에 어떤 영향을 미치는가?

주요 결과

• arXiv 논문에 인용된 URL 중 45% (66,096개)는 연구 시점에 여전히 접근 가능하지만 웹 아카이브에 보존되어 있지 않아 향후 손실의 위험이 있음을 시사한다.
• UNT 디지털 라이브러리 논문에 인용된 URL 중 28%는 이미 손실되어 보존되지 않은 것으로 나타나, 이 보관소의 인용 자료에서 심각한 링크 루트 현상이 발생하고 있음을 보여준다.
• 연구는 보관소 특성과 콘텐츠 유형이 인용된 웹 자원의 지속 가능성에 중대한 영향을 미친다는 점을 밝혀냈다.
• Memento 프레임워크는 160,000개 이상의 URL에 걸쳐 대규모 자동 분석을 성공적으로 수행하여, 지속 가능성 평가에 실용적인 도구로 활용 가능하다는 것을 입증하였다.
• 결과는 체계적인 문제를 드러내는데, 접근 가능한 URL조차도 자주 아카이브되지 않아 학술 인용이 향후 사라질 위험에 노출되어 있음을 시사한다.
• 연구는 사전에 인용된 URL을 아카이브하는 것이 필수적이라며, 보관소가 자동 아카이빙을 지원할 수 있도록 추출 가능한 URL 목록을 공개할 것을 권고한다.