[論文レビュー] Carbon Dating The Web: Estimating the Age of Web Resources

Hany M. SalahEldeen, Michael L. Nelson|arXiv (Cornell University)|Apr 18, 2013

Web Data Mining and Analysis参考文献 9被引用数 7

ひとこと要約

本論文では、Bitly、Topsy、Google、ウェブアーカイブ、HTTPヘッダなどの複数のソースからのタイムスタンプを統合することで、ウェブリソースの作成日を推定するウェブアプリケーション「Carbon Date」を提案する。1,200件のURIから構成されるゴールドスタンダードデータセットにおいて、作成日推定の成功率は75.9%に達し、最も近い推定値の正確性は32.78%であった。

ABSTRACT

In the course of web research it is often necessary to estimate the creation datetime for web resources (in the general case, this value can only be estimated). While it is feasible to manually establish likely datetime values for small numbers of resources, this becomes infeasible if the collection is large. We present "carbon date", a simple web application that estimates the creation date for a URI by polling a number of sources of evidence and returning a machine-readable structure with their respective values. To establish a likely datetime, we poll bitly for the first time someone shortened the URI, topsy for the first time someone tweeted the URI, a Memento aggregator for the first time it appeared in a public web archive, Google's time of last crawl, and the Last-Modified HTTP response header of the resource itself. We also examine the backlinks of the URI as reported by Google and apply the same techniques for the resources that link to the URI. We evaluated our tool on a gold-standard data set of 1200 URIs in which the creation date was manually verified. We were able to estimate a creation date for 75.90% of the resources, with 32.78% having the correct value. Given the different nature of the URIs, the union of the various methods produces the best results. While the Google last crawl date and topsy account for nearly 66% of the closest answers, eliminating the web archives or Last-Modified from the results produces the largest overall negative impact on the results. The carbon date application is available for download or use via a webAPI.

研究の動機と目的

• サーバーやコンテンツが利用できなくなった場合でも、信頼できる作成日メタデータが欠落しているウェブリソースの問題に対処すること。
• ソーシャルメディアの共有、バックリンク、アーカイブクロールなどの間接的なデジタル痕跡を用いて、ウェブリソースの最初の出現時刻を推定するツールを開発すること。
• 複数のタイムスタンプソースを組み合わせることで、年齢推定の正確性がどのように向上するかを評価すること。
• 研究者がサーバーサイドメタデータに依存せずに、任意のURIの作成日を推定できる公開可能なウェブAPIを提供すること。

提案手法

• ターゲットURIの最初の短縮URLタイムスタンプをBitlyから取得する。
• URIを参照する最初のツイートタイムスタンプをTopsyから照会する。
• Mementoアグリゲータを介して、公開ウェブアーカイブからURIの最も初期のアーカイブバージョンを取得する。
• GoogleのインデックスからURIの最終クロール日時を取得する。
• リソースのサーバー応答からLast-Modified HTTPヘッダを抽出する。
• Googleを用いてURIのバックリンクを分析し、リンク先リソースに対しても同様のタイムスタンプ収集プロセスを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのタイムスタンプソースの組み合わせが、ウェブリソースの作成日を最も正確に推定できるか？
• RQ2 ソーシャルメディア、検索エンジン、ウェブアーカイブといった異なるソースが、作成日推定の正確性にどのように寄与するか？
• RQ3 個々のソースを除外した場合、全体の推定正確性にどのような影響が生じるか？
• RQ4 バックリンクやソーシャルメディア活動は、リソースの初期公開日を推定するための有効な代理指標となるか？
• RQ5 Last-Modified HTTPヘッダは、作成時刻の指標としてどれほど信頼できるか？

主な発見

• Carbon Dateツールは、ゴールドスタンダードデータセットに含まれる1,200件のURIのうち75.90%について、作成日を正常に推定した。
• 最も近い推定日が真の作成日と一致したのは32.78%のケースであり、そのうち約66%はGoogleの最終クロール日時とTopsyの最初のツイート日時が寄与していた。
• ウェブアーカイブやLast-Modifiedヘッダを除外すると、正確性に最も大きな悪影響が生じ、誤差率が顕著に上昇した。
• バックリンクの活用はたった3件の正確な推定に寄与にとどまり、このアプローチの価値は限定的であった。
• 多項式フィッティング解析の結果、アーカイブ、Topsy、またはLast-Modifiedヘッダを無効化するとAUC（曲線下面積）が著しく上昇し、推定誤差が増加することが示された。
• すべての手法を統合した結果が最も優れており、複数のソースを組み合わせることで推定の耐障害性が向上することを示している。