[論文レビュー] Web Archive Analytics

Michael Völske, Janek Bevendorff+5 more|arXiv (Cornell University)|Jul 2, 2021

Web Data Mining and Analysis被引用数 5

ひとこと要約

この論文では、インターネットアーカイブおよびコモンクラウドから8 PBのウェブアーカイブデータを処理するために、Webis研究グループが開発した大規模なウェブアーカイブ分析インフラストラクチャを提示する。分散ストレージ（Ceph）、Kubernetesオーケストレーション、Hadoop/Sparkパイプラインを活用することで、ウェブの進化に関する偏りのない大規模な研究を可能にし、産業規模の高度なNLPおよび検索タスクを支援する。

ABSTRACT

Web archive analytics is the exploitation of publicly accessible web pages and their evolution for research purposes -- to the extent organizationally possible for researchers. In order to better understand the complexity of this task, the first part of this paper puts the entirety of the world's captured, created, and replicated data (the "Global Datasphere") in relation to other important data sets such as the public internet and its web pages, or what is preserved thereof by the Internet Archive. Recently, the Webis research group, a network of university chairs to which the authors belong, concluded an agreement with the Internet Archive to download a substantial part of its web archive for research purposes. The second part of the paper in hand describes our infrastructure for processing this data treasure: We will eventually host around 8 PB of web archive data from the Internet Archive and Common Crawl, with the goal of supplementing existing large scale web corpora and forming a non-biased subset of the 30 PB web archive at the Internet Archive.

研究の動機と目的

• 学術的調査のために、膨大で変化し続けるウェブアーカイブを分析する課題に対処するため、高性能でスケーラブルなインフラストラクチャを構築すること。
• 研究者が30 PBのインターネットアーカイブコレクションから代表的で偏りのないサブセットにアクセスして処理できるようにすること。
• 恒久的で分散型のストレージおよび計算リソースを提供することで、大規模なNLP、検索、機械学習の研究を支援すること。
• 外部の研究者に対し、公開サービスとインフラストラクチャへのアクセスを提供することで、共同研究を促進すること。

提案手法

• データ取得、管理、分析、利用のレイヤーを備えた多層的なインフラストラクチャスタックを採用する。
• 耐久性とスケーラビリティを確保するため、RadosGW S3 APIゲートウェイとエラー訂正コードを備えたCephベースの分散オブジェクトストレージシステムを採用する。
• 130ノードのクラスタ上でKubernetesがサービスをオーケストレートし、Ceph RBDによる永続的ストレージとHDFSにおける一時的データを活用する。
• Hadoop YARN、Spark、JupyterHubにより、大規模なデータ処理とインタラクティブな分析を実現する。
• 検索、議論抽出、評価を支援する、args.me、ChatNoir、Netspeak、Picapica、Tiraといった公開サービスを支援する。
• サービスディスcoveryにはConsul、イベントログ記録とアラートにはPrometheusを用いて、監視を確保する。

実験結果

リサーチクエスチョン

• RQ1 研究者が、かつては産業界に限られていた規模で、代表的で偏りのないウェブアーカイブデータにアクセスし、分析することはどのように可能になるか？
• RQ2 信頼性とパフォーマンスを確保しながら、8 PBのウェブアーカイブデータを格納・処理するためのインフラストラクチャにはどのようなものが必要か？
• RQ3 公開およびオープンデータソースを活用して、偏りのない大規模なウェブアーカイブ分析プラットフォームを研究グループが構築・運用するにはどうすればよいか？
• RQ4 このようなインフラストラクチャが、産業規模での高度なNLPおよび検索研究をどのように可能にするか？
• RQ5 共同で利用可能なインフラストラクチャは、クエリログ分析、類似レコード検出、トランスフォーマーモデルの学習といった多様な研究タスクをどのように支援するか？

主な発見

• Webisインフラストラクチャは現在、2.3 PBのウェブアーカイブデータをホスティングしており、そのうち560 TBがインターネットアーカイブから、残りはコモンクラウドからのものである。
• システムは8 PBのウェブアーカイブデータにスケーリングするように設計されており、30 PBのインターネットアーカイブコレクションの偏りのないサブセットを形成する。
• このインフラストラクチャにより、かつては大手テック企業に限られていた大規模な研究プロジェクト、たとえば大規模な機械学習モデルの学習が可能になった。
• ChatNoir、args.me、Tiraといった複数の公開サービスを支援するプラットフォームであり、検索、議論抽出、評価を促進する。
• 耐久的でスケーラブルなオブジェクトストレージとしてCephを、信頼性の高いサービスオーケストレーションとしてKubernetesを活用し、PrometheusとConsulによる監視を実施する。
• このインフラストラクチャは、すでに大規模なクエリログの研究、ウェブ検索における類似レコードの特定、大規模なNLPコーパスの準備に関する研究を可能にしている。