[논문 리뷰] Formats over Time: Exploring UK Web History

Andrew Jackson|arXiv (Cornell University)|2012. 10. 05.

Web Data Mining and Analysis참고 문헌 1인용 수 6

한 줄 요약

이 연구는 1996년에서 2010년 사이에 걸쳐 25억 개가 넘는 영국 웹 자원을 DROID-B와 Apache Tika를 사용하여 분석하여 포맷, 버전, 소프트웨어, 하드웨어를 식별하였으며, 네트워크 효과의 안정화로 인해 소프트웨어 노후화가 흔하지 않음을 밝혀냈다. 주요 발견은 대부분의 포맷이 10년 이상 지속되며, 새로운 포맷이 천천가로 등장하고 버전이 점진적으로 사라지는 것으로, 디지털 포맷이 본질적으로 취약하다는 개념에 도전한다.

ABSTRACT

Is software obsolescence a significant risk? To explore this issue, we analysed a corpus of over 2.5 billion resources corresponding to the UK Web domain, as crawled between 1996 and 2010. Using the DROID and Apache Tika identification tools, we examined each resource and captured the results as extended MIME types, embedding version, software and hardware identifiers alongside the format information. The combined results form a detailed temporal format profile of the corpus, which we have made available as open data. We present the results of our initial analysis of this dataset. We look at image, HTML and PDF resources in some detail, showing how the usage of different formats, versions and software implementations has changed over time. Furthermore, we show that software obsolescence is rare on the web and uncover evidence indicating that network effects act to stabilise formats against obsolescence.

연구 동기 및 목표

• 장기적인 디지털 보존을 위한 소프트웨어 노후화가 심각한 위험인지 여부를 조사하기 위해.
• 영국 웹 도메인 내에서 포맷 사용, 버전, 소프트웨어 구현 방식의 시간에 따른 변화를 이해하기 위해.
• 네트워크 효과가 디지털 포맷의 노후화로부터 안정성을 제공하는 데 어떤 역할을 하는지 평가하기 위해.
• 자동 식별 도구를 사용하여 대규모이고 오픈 포맷의 웹 자원 프로파일을 구축하고 검증하기 위해.
• 대규모 코퍼스에서 포맷 식별 도구(DROID-B와 Apache Tika)의 신뢰성과 일관성 평가하기 위해.

제안 방법

• 1996년에서 2010년 사이에 걸쳐 35TB의 코퍼스로 구성된 25억 개의 영국 웹 자원을 확보하였으며, 50개 노드로 구성된 HDFS 클러스터에 저장하였다.
• DROID-B를 사용하여 포맷, 버전, 소프트웨어, 하드웨어 메타데이터를 식별하였다. DROID의 수정된 버전이다.
• 더 넓은 포맷 커버리지와 깊은 비트스트림 분석을 위해 Apache Tika를 보완적으로 사용하였다.
• 정확한 콘텐츠 기반 식별을 위해 메타데이터나 URL이 아닌 비트스트림 그 자체에서 포맷 식별을 수행하였다.
• 두 도구의 결과를 통합하여 일관성 문제를 탐지하고, 서명 품질을 향상시키며, 포맷 식별을 정교화하였다.
• 이미지, HTML, PDF 자원에 대해 시간에 따른 포맷 인기, 버전 사용, 소프트웨어/하드웨어 식별자 추세를 분석하였다.

실험 결과

연구 질문

• RQ1 네트워크 효과가 디지털 포맷을 얼마나 안정화시키며, 노후화 위험을 얼마나 감소시키는가?
• RQ2 다양한 포맷, 버전, 소프트웨어 구현 방식의 사용 패턴은 시간이 지남에 따라 어떻게 변화하는가?
• RQ3 새로운 포맷은 지속 가능한 속도로 등장하고 있는가? 그리고 오래된 포맷은 빠르게 사라지거나 점진적으로 퇴보하는가?
• RQ4 대규모이고 다양한 코퍼스에서 DROID-B와 Apache Tika 간의 포맷 식별 결과는 얼마나 일관한가?
• RQ5 여러 도구의 병합된 출력 결과는 디지털 포맷 진화의 더 신뢰성 있고 세밀한 프로파일을 제공할 수 있는가?

주요 결과

• 47개의 포맷이 15년 이상 지속되었으며, 이는 급격한 노후화가 아니라 장기적 안정성을 의미한다.
• 1996년에서 2010년 사이에 평균 매년 약 6개의 새로운 포맷이 등장하였고, 약 2개의 포맷만 매년 노후화되었다.
• JPEG는 이미지 포맷 중에서 일관되게 지배적인 포지션을 차지하였으며, GIF, TIFF, XBM는 사용 감소 추세를 보였고, XBM의 사용은 급격히 감소하였다.
• HTML 버전은 점진적으로 증가하였으며, 2010년에는 6개의 주요 버전이 모두 활성화되었고, 신규 버전이 몇 년간 지배하다가 점차 퇴보하였다.
• PDF 버전은 1996년 3개(1.0–1.2)에서 2010년 11개로 증가하였으며, 1.2–1.6 버전이 여전히 지배적이었고, 오래된 버전은 점진적으로 감소하는 추세를 보였다.
• PDF에 대해선 2,100개 이상의 고유한 소프트웨어 구현이, JPEG에 대해선 1,900개 이상이 확인되어 널리 사용되는 포맷의 높은 표준화와 성숙도를 시사한다.