[論文レビュー] Rules of Acquisition for Mementos and Their Content

Shawn Jones, Harihar Shankar|arXiv (Cornell University)|Feb 19, 2016

Web Data Mining and Analysis参考文献 12被引用数 4

ひとこと要約

本論文は、複数のアーカイブを跨いでウェブメモリアルのテキストを取得・抽出する際の重要な課題を特定し、HTTPベースの取得が非標準のリダイレクト、JavaScriptベースのリダイレクト、および一貫性の欠如するHTMLレンダリングのため、しばしば失敗することを明らかにした。著者らは、PhantomJSのようなツールの使用がしばしば必要であることを示し、lxml や Beautiful Soup といったパースライブラリが、破損したまたはアーカイブが変更を加えたHTMLに対処できず、デジタル保存やリンク腐食の緩和策におけるテキスト抽出の信頼性に顕著な影響を与えることを示している。

ABSTRACT

Text extraction from web pages has many applications, including web crawling optimization and document clustering. Though much has been written about the acquisition of content from live web pages, content acquisition of archived web pages, known as mementos, remains a relatively new enterprise. In the course of conducting a study with almost 700,000 web pages, we encountered issues acquiring mementos and extracting text from them. The acquisition of memento content via HTTP is expected to be a relatively painless exercise, but we have found cases to the contrary. We also find that the parsing of HTML, already known to be problematic, can be more complex when one attempts to extract the text of mementos across many web archives, due to issues involving different memento presentation behaviors, as well as the age of the HTML in their mementos. For the benefit of others acquiring mementos across many web archives, we document those experiences here.

研究の動機と目的

• 研究目的として、複数のウェブアーカイブにおけるメモリアル取得の信頼性と一貫性を調査すること。
• 標準HTTPメソッドを用いたアーカイブ済みウェブページ（メモリアル）からのテキスト取得および抽出における技術的障害要因を特定すること。
• 異なるウェブアーカイブがブランディング、リダイレクト、HTMLプレゼンテーションの変更を通じてメモリアルコンテンツをどのように変更するかを文書化し、テキスト抽出に与える影響を明らかにすること。
• 一般的に用いられるテキスト抽出ツール（例：lxml、Beautiful Soup）がメモリアルコンテンツに対して果たす有効性を評価し、パースのエッジケースを同定すること。
• デジタル保存および意味解析を目的とした、複数のアーカイブ間でのメモリアルコンテンツ比較を実施する研究者に対して、実用的解決策と認識を提供すること。

提案手法

• cURLおよび標準HTTP GETを用いてウェブアーカイブからメモリアルを取得し、直接取得が失敗するケースを特定した。
• WebCiteおよびインターネットアーカイブのメモリアルに対して、特にセッションベースのリダイレクトおよびフレームベースのコンテンツロードを処理するため、カスタムスクリプトを用いたPhantomJSの使用を実施した。
• アーカイブが提供する文字エンコーディングに失敗した場合のフォールバックとして、UTF-8をデフォルトとして使用する文字エンコーディング検出アルゴリズムを実装した。
• lxmlおよびBeautiful Soupを用いてHTMLパースを実施したが、未閉じタグ、破損したnoscript要素、および特殊な文字エンコーディングに対処できず、制限が生じることを確認した。
• ブランドやナビゲーション要素を除去するため、アーカイブ固有のコンテンツ除去技術を開発した。これらはテキスト比較を歪める要因となる。
• パースの不一致に起因してテキスト比較に歪みを生じるため、< および > が &lt; および &gt; に置き換えられた非標準的なタグ表現（例：&lt; および &gt;）を含むメモリアルは、解析不能とみなして破棄した。

実験結果

リサーチクエスチョン

• RQ1 ウェブアーカイブは、特にリダイレクト処理において、標準HTTP動作からどの程度逸脱しているか。
• RQ2 アーカイブ間でのHTMLレンダリングおよびコンテンツ変更の差異が、テキスト抽出の正確性および一貫性に与える影響は何か。
• RQ3 異なるアーカイブから得られるメモリアルコンテンツを処理する際、標準パーサーライブラリ（例：Beautiful Soup、lxml）の制限は何か。
• RQ4 メモリアルに存在するエンコーディングの問題や破損したHTMLが、テキスト抽出および複数アーカイブ間での比較に与える影響は何か。
• RQ5 直接HTTPメソッドと比較して、PhantomJSのようなブラウザシミュレーションツールを用いたメモリアル取得のパフォーマンスおよび信頼性のトレードオフは何か。

主な発見

• データセット内の約25％のメモリアルは、非RESTfulな挙動（例：JavaScriptリダイレクト、フレームベースのコンテンツロード）のため、標準HTTP GETのみでは取得できなかった。
• WebCiteは、セッションベースのリダイレクトおよびフレームロードを処理するためにPhantomJSを必要とし、約10万件のメモリアルの取得に1か月以上を要した。これに対してインターネットアーカイブはわずか2週間で完了した。
• インターネットアーカイブは頻繁にHTTP 302リダイレクトをJavaScriptシミュレートされたリダイレクトに置き換え、実際のメモリアルコンテンツにアクセスするにはクライントサイド実行が必要だった。
• lxmlによるパース処理において、未閉じタグや破損したnoscript要素に対処できず、誤ったDOM状態のパースにより、完全なテキスト損失が発生するケースもあった。
• 一部のアーカイブは、< および > を &lt; および &gt; に置き換えることでHTMLを変更しており、パーサーツールがこれらを実際のテキストとして解釈したため、誤ったタグが生成され、テキスト比較結果が歪められた。
• 文字エンコーディングが頻繁に誤って報告されており、信頼性の高いテキスト抽出を確保するため、UTF-8フォールバックを備えたカスタム検出アルゴリズムの導入が不可欠であった。