[論文レビュー] ArchiveSpark: Efficient Web Archive Access, Extraction and Derivation

Helge Holzmann, Vinay Goel+1 more|arXiv (Cornell University)|Feb 3, 2017

Web Data Mining and Analysis参考文献 10被引用数 15

ひとこと要約

ArchiveSpark は Apache Spark 上に構築された分散型フレームワークであり、広く使われている CDX メタデータインデックスを活用することで、ウェブアーカイブへの効率的でスケーラブルなアクセスを可能にする。データ抽出および導出を高速化するため、CDX を用いた軽量なメタデータベースド処理によりディスク I/O を最小限に抑え、特にフィルタリングや集計処理において、追加のデータストアや事前処理を必要とせずに最大 10 倍の高速化を達成している。

ABSTRACT

Web archives are a valuable resource for researchers of various disciplines. However, to use them as a scholarly source, researchers require a tool that provides efficient access to Web archive data for extraction and derivation of smaller datasets. Besides efficient access we identify five other objectives based on practical researcher needs such as ease of use, extensibility and reusability. Towards these objectives we propose ArchiveSpark, a framework for efficient, distributed Web archive processing that builds a research corpus by working on existing and standardized data formats commonly held by Web archiving institutions. Performance optimizations in ArchiveSpark, facilitated by the use of a widely available metadata index, result in significant speed-ups of data processing. Our benchmarks show that ArchiveSpark is faster than alternative approaches without depending on any additional data stores while improving usability by seamlessly integrating queries and derivations with external tools.

研究の動機と目的

• 研究者が大規模なウェブアーカイブから構造化されたデータセットを抽出・導出するための、効率的で使いやすいツールが求められている。
• 既存のツールは性能、拡張性、または標準データフォーマットとの統合性に欠けることが多く、非専門の研究者にとって使いにくい。
• データの事前インジェストやカスタムストレージを必要とせず、高速で追跡可能で再利用可能なコーパス生成をサポートするシステムの必要性がある。
• フレームワークは外部ツールと相互運用可能で拡張可能でなければならない。これにより、多様な研究ワークフローをサポートできる。
• 研究者が標準的でオープンなフォーマットと広く利用可能なメタデータを用いて、効率的にコーパスを構築・再現できるようにする。

提案手法

• ArchiveSpark はウェブアーカイブコレクションにおける分散型で関数型スタイルのデータ処理を可能にするために、Apache Spark を実行エンジンとして使用する。
• 同フレームワークは、ウェブアーカイブ分野の事実上の標準である CDX メタデータインデックスを、アーカイブメタデータの軽量で事前インデックス化された表現として活用する。
• RAW WARC/ARC ファイルを直接処理するのではなく、ArchiveSpark はまず CDX メタデータ（例：URL、タイムスタンプ、MIME タイプ）に基づいてレコードをフィルタリング・選択することで、I/O オーバーヘッドを削減する。
• フレームワークは CDX からの軽量なメモリ内レコード表現を構築し、必要に応じてのみ拡張するため、高コストなディスク操作を最小限に抑える。
• 拡張可能なパイプラインコンポonent を通じて外部ツールとのシームレスな統合をサポートし、カスタムデータ導出および変換を可能にする。
• システムは標準的なウェブアーカイブフォーマット（例：WARC、ARC）とネイティブに連携し、データ移行や追加ストレージを必要としない。

実験結果

リサーチクエスチョン

• RQ1 カスタムデータストアや事前処理を必要とせず、研究者がウェブアーカイブ処理をより効率的に行えるようにするにはどうすればよいか？
• RQ2 CDX のようなメタデータインデックスは、大規模なウェブアーカイブ分析においてどの程度性能を向上させられるか？
• RQ3 標準ファイルフォーマットとオープンソース技術に依存するフレームワークは、データベース駆動型またはフルスキャンアプローチに比べ、コーパス導出タスクで優れているか？
• RQ4 ArchiveSpark は、学術的ウェブアーカイブ研究における使いやすさ、拡張性、再現可能性をどのようにサポートしているか？
• RQ5 RAW アーカイブコンテンツをスキャンするのではなく、メタデータを用いて早期にデータをフィルタリングすることで、どの程度のパフォーマンス向上が達成できるか？

主な発見

• CDX メタデータを活用した状況では、フルスキャン Spark アプローチに比べ、ArchiveSpark は最大 10 倍の高速化を達成した。
• ドメインおよび MIME タイプによるフィルタリングのシナリオでは、ArchiveSpark は 349.2–379.1 秒で完了したが、フルスキャン Spark アプローチ（3737.7–3853.2 秒）を上回り、HBase の性能に近づいた。
• 2011 年 12 月の最新の成功したキャプチャを取得するタスクでは、ArchiveSpark は 9270.8–9639.6 秒で完了したが、フルスキャン Spark 法（19432.0–20744.3 秒）に比べて顕著に高速だった。
• HBase ですらタイムスタンプベースのフィルタリングに最適化されているにもかかわらず、ArchiveSpark は CDX からタイムスタンプとステータスコードの両方を直接フィルタリング可能であるため、同タスクで HBase を上回った。
• CDX メタデータを用いた早期フィルタリングによりディスク I/O を最小限に抑え、外部データベースへのインジェストを必要とせずに、顕著なパフォーマンス向上を達成した。
• ArchiveSpark は、標準ファイルフォーマットと広く利用可能なメタデータインデックスのみを用いても、効率的でスケーラブルかつ再利用可能なコーパス導出が可能であることを示した。追加のインfrastrucure を必要としない。