[논문 리뷰] Everyone is a Curator: Human-Assisted Preservation for ORE Aggregations

Frank McCown, Michael L. Nelson외 1명|ArXiv.org|2009. 01. 28.

Web Data Mining and Analysis참고 문헌 12인용 수 6

한 줄 요약

이 논문은 링크 부서짐과 자원의 변동성으로 인해 분산되고 동적인 성격을 지닌 ORE 리소스 맵(ReMs)의 무결성을 유지하기 위해 웹 커뮤니티와 웹 인프라(웹 아카이브, 검색 엔진, 개인 아카이빙 도구)를 활용하는 인간이 참여하는 보존 시스템인 ReMember을 제안한다. 링크 손상, 업데이트된 자원 발견, 변경 사항 검증 등의 케어 테스크를 사용자에게 분산함으로써 ReMember는 링크 부서짐과 자원의 변동성에도 불구하고 ReMs가 정확하고 지속 가능하게 유지되도록 보장한다.

ABSTRACT

The Open Archives Initiative (OAI) has recently created the Object Reuse and Exchange (ORE) project that defines Resource Maps (ReMs) for describing aggregations of web resources. These aggregations are susceptible to many of the same preservation challenges that face other web resources. In this paper, we investigate how the aggregations of web resources can be preserved outside of the typical repository environment and instead rely on the thousands of interactive users in the web community and the Web Infrastructure (the collection of web archives, search engines, and personal archiving services) to facilitate preservation. Inspired by Web 2.0 services such as digg, deli.cio.us, and Yahoo! Buzz, we have developed a lightweight system called ReMember that attempts to harness the collective abilities of the web community for preservation purposes instead of solely placing the burden of curatorial responsibilities on a small number of experts.

연구 동기 및 목표

• 분산적이고 동적인 성격을 지닌 ORE 리소스 맵(ReMs)을 보존하는 데 도전하는 문제를 해결한다. 이는 링크 부서짐과 자원의 사라짐으로 인해 취약해지기 때문이다.
• 중앙집중식 전문가 케어에 대한 의존도를 줄이고, 웹 커뮤니티 전반에 걸쳐 보존 작업을 민주화한다.
• 기존 웹 인프라(예: 인터넷 아카이브, 구글 캐시, WebCite)를 활용하여 ReMs 내에서 손실되거나 변경된 자원을 탐지하고 복구한다.
• 사용자가 죽은 링크를 식별하고, 업데이트된 URL를 찾고, 내용 변경 사항을 검증함으로써 ReM 케어에 능동적으로 참여할 수 있도록 한다.
• 위키 기반 인터페이스를 통해 버전 제어, 변경 사항 추적, 공동 편집을 지원하는 확장성 있고 경량화된 시스템을 개발한다.

제안 방법

• 모든 통합 자원(ARs)의 가용성을 주기적으로 점검함으로써 ReMs를 모니터링하는 경량 웹 애플리케이션으로 ReMember를 구현한다.
• 웹 크롤러를 사용해 ARs에 접근하고, 어휘 서명과 시각적 스냅샷을 활용해 WebCite와 인터넷 아카이브의 아카이브 버전과 비교한다.
• AR가 404 응답을 반환하거나 내용이 변경된 경우, ReMember는 이를 사용자 주의를 위한 표시로 간주하고 메타데이터, 썸네일, 타임스탬프와 함께 표시한다.
• 검색 엔진(Google, Yahoo, Live Search)을 사용해 AR의 제목과 메타데이터를 기반으로 쿼리를 보내, 살아있는 버전이나 아카이브된 버전을 찾는 방식으로 웹 인프라와 통합한다.
• 사용자가 새로운 URL를 선택하고, WebCite를 통해 신규 버전을 아카이브하며, 새로운 어휘 서명과 스크린샷을 생성함으로써 ReMs를 업데이트할 수 있도록 한다.
• 위키에 ReM 버전 기록을 저장함으로써 잘못된 변경 사항의 복구가 가능하고, 공동 편집과 투명성을 지원하는 협업 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자동화된 시스템이 링크 부서짐이나 내용 변경으로 실패할 경우, 커뮤니티 기반 케어가 ORE 리소스 맵(ReMs)을 효과적으로 보존할 수 있는가?
• RQ2 기존 웹 인프라(웹 아카이브, 검색 엔진, 개인 아카이빙 도구)를 어떻게 활용해 ReMs 내에서 손실되거나 변경된 자원을 탐지하고 복구할 수 있는가?
• RQ3 사용자가 죽은 링크를 식별하고 업데이트된 URL를 찾는 데 참여할 경우, ReMs의 지속 가능성과 정확도는 어느 정도 향상될 수 있는가?
• RQ4 버전 제어와 공동 편집을 확장성 있고 안전한 방식으로 어떻게 구현할 수 있는가? 이는 커뮤니티 기반의 ReM 케어를 지원하기 위함이다.
• RQ5 시각적 서명과 어휘 서명은 통합 자원의 변경 사항을 감지하고 사용자 개입을 유도하는 데 어떤 역할을 하는가?

주요 결과

• ReMember는 WebCite와 인터넷 아카이브의 아카이브 버전과 실시간 접근 결과를 비교함으로써 ReMs 내 손실되거나 변경된 통합 자원(ARs)을 성공적으로 탐지한다.
• AR 메타데이터를 기반으로 사전에 검색 쿼리를 채우므로, 사용자가 손상된 링크를 찾고 대체 URL를 찾아내는 데 드는 노력이 크게 줄어든다.
• 시각적 썸네일과 어휘 서명을 통해 ReMember는 AR의 내용 변경 사항을 감지하고, 사용자가 변경된 버전을 검증하거나 아카이브하도록 유도한다.
• 위키 기반 버전 제어 시스템의 통합으로 ReMs에 대한 수정이 투명하고 감사 가능하며 취소 가능한 방식으로 이루어지며, 공동 케어를 지원한다.
• Simile Timeline을 사용한 타임라인 시각화 기능은 자주 변경되거나 사라지는 변동성이 큰 AR을 식별하는 데 도움이 되며, 지속적인 관심이 필요한 자원을 부각시킨다.
• 전문가 중심의 케어 방식의 확장성과 비용 제약을 피하기 위해 웹 커뮤니티 전반에 케어 작업을 분산함으로써 대규모 ReM 보존의 가능성은 입증되었다.