[논문 리뷰] ArchiveSpark: Efficient Web Archive Access, Extraction and Derivation

Helge Holzmann, Vinay Goel외 1명|arXiv (Cornell University)|2017. 02. 03.

Web Data Mining and Analysis참고 문헌 10인용 수 15

한 줄 요약

ArchiveSpark는 Apache Spark 기반의 분산 프레임워크로, 널리 사용되는 CDX 메타데이터 인덱스를 활용해 웹 아카이브에 효율적이고 확장 가능한 접근을 가능하게 한다. 데이터 추출 및 유형 유도 과정에서 디스크 I/O를 최소화하기 위해 경량 메타데이터 기반 처리를 통해 성능을 극대화하며, 추가 데이터 스토어나 사전 처리 없이도 최대 10배의 속도 향상을 달성한다. 특히 필터링 및 집계 작업에서 다른 접근 방식보다 뛰어난 성능을 보인다.

ABSTRACT

Web archives are a valuable resource for researchers of various disciplines. However, to use them as a scholarly source, researchers require a tool that provides efficient access to Web archive data for extraction and derivation of smaller datasets. Besides efficient access we identify five other objectives based on practical researcher needs such as ease of use, extensibility and reusability. Towards these objectives we propose ArchiveSpark, a framework for efficient, distributed Web archive processing that builds a research corpus by working on existing and standardized data formats commonly held by Web archiving institutions. Performance optimizations in ArchiveSpark, facilitated by the use of a widely available metadata index, result in significant speed-ups of data processing. Our benchmarks show that ArchiveSpark is faster than alternative approaches without depending on any additional data stores while improving usability by seamlessly integrating queries and derivations with external tools.

연구 동기 및 목표

• 연구자들은 학술 분석을 위해 대규모 웹 아카이브에서 구조화된 데이터셋을 추출하고 유형을 도출할 수 있는 효율적이고 사용자 友好的한 도구가 필요하다.
• 기존 도구들은 성능, 확장성 또는 표준 데이터 형식과의 통합 측면에서 부족함을 보이며, 비전문가 연구자들에게는 사용이 제한된다.
• 데이터 사전 임포트나 맞춤형 스토리지 없이도 빠르고 추적 가능하며 재사용 가능한 코퍼스 생성을 지원하는 시스템이 필요하다.
• 프레임워크는 외부 도구와의 확장성 및 상호 운용성을 가져야 하며, 다양한 연구 워크플로우를 지원해야 한다.
• 목표는 표준이고 개방된 형식을 사용해 연구자들이 효율적으로 학술 코퍼스를 구축하고 재현할 수 있도록 하는 것이다.

제안 방법

• ArchiveSpark는 웹 아카이브 컬렉션에서 분산형 기능 스타일 데이터 처리를 가능하게 하기 위해 Apache Spark를 실행 엔진으로 사용한다.
• 프레임워크는 웹 아카이빙 분야의 사실상 표준인 CDX 메타데이터 인덱스를 경량의 사전 인덱스된 아카이브 메타데이터 표현으로 활용하여 레코드 선택을 안내한다.
• 원시 WARC/ARC 파일을 직접 처리하는 대신, ArchiveSpark는 URL, 타임스탬프, MIME 유형 등 CDX 메타데이터 기반으로 레코드를 필터링하고 선택하여 I/O 오버헤드를 줄인다.
• 프레임워크는 CDX에서 경량의 메모리 기반 레코드 표현을 구축하고, 필요할 경우에만 이를 확장함으로써 비용이 많이 드는 디스크 작업을 최소화한다.
• 확장 가능한 파이프라인 컴포onent를 통해 외부 도구와의 원활한 통합을 지원하여 사용자 정의 데이터 유형 도출 및 변환을 가능하게 한다.
• 시스템은 표준 웹 아카이브 형식(예: WARC, ARC)과의 네이티브 호환성을 갖추고 있으며, 데이터 마이그레이션 또는 추가 스토리지가 필요하지 않다.

실험 결과

연구 질문

• RQ1 사용자 정의 데이터 스토어나 사전 처리 없이도 연구자들이 웹 아카이브 처리를 더 효율적으로 수행할 수 있는 방법은 무엇인가?
• RQ2 CDX와 같은 메타데이터 인덱스가 대규모 웹 아카이브 분석에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ3 표준 파일 형식과 오픈소스 기술 기반으로 구축된 프레임워크가 데이터베이스 기반 또는 전체 스캔 방식보다 코퍼스 유형 도출 작업에서 뛰어난 성능을 낼 수 있는가?
• RQ4 ArchiveSpark는 학술적 웹 아카이브 연구에서 사용성, 확장성, 재현 가능성에 어떻게 기여하는가?
• RQ5 원시 아카이브 콘텐츠를 스캔하는 것보다 메타데이터를 통해 조기 필터링을 수행할 경우 성능 향상은 어느 정도 기대할 수 있는가?

주요 결과

• CDX 메타데이터를 활용할 경우, 필터링 및 집계 작업에서 전체 스캔 Spark 방식 대비 최대 10배의 속도 향상을 기록했다.
• 도메인과 MIME 유형 기반 필터링 시나리오에서 ArchiveSpark는 349.2–379.1초 내로 완료되었으며, 전체 스캔 Spark 방식(3737.7–3853.2초)을 뛰어넘고 HBase 성능에 가까워졌다.
• 2011년 12월의 최신 성공 캡처를 선택하는 작업에서 ArchiveSpark는 9270.8–9639.6초가 소요되었고, 전체 스캔 Spark 방법(19432.0–20744.3초)보다 뚜렷하게 빠르게 작동했다.
• HBase는 타임스탬프 기반 필터링에 내장된 지원을 가지고 있음에도 불구하고, ArchiveSpark는 CDX에서 타임스탬프와 상태 코드를 동시에 필터링할 수 있어 동일한 작업에서 HBase를 능가했다.
• CDX 메타데이터를 통한 조기 필터링을 통해 디스크 I/O를 최소화함으로써 외부 데이터베이스에 데이터 임포트가 필요 없이도 상당한 성능 향상을 달성했다.
• ArchiveSpark는 추가 인프라가 필요 없이 표준 파일 형식과 널리 사용되는 메타데이터 인덱스만으로도 효율적이고 확장 가능하며 재사용 가능한 코퍼스 유형 도출이 가능하다는 것을 입증했다.