[論文レビュー] The Dawn of Today's Popular Domains: A Study of the Archived German Web over 18 Years

Helge Holzmann, Wolfgang Nejdl+1 more|arXiv (Cornell University)|Feb 3, 2017

Web Data Mining and Analysis参考文献 10被引用数 15

ひとこと要約

本研究では、1996年から2013年までの18年間にわたり、ドイツの上位100位以内の人気ウェブサイト17のカテゴリーにおける進化を、インターネット・アーカイブのウェブクロールデータを用いて縦断的分析した。70%のページが1年未塔であることが判明し、ドメインのボリュームとページサイズは指数関数的成長を示した。人気ドメインは2年ごとにボリュームが倍増しており、分野別トレンドでは、大学サイトはゲームやショッピングサイトよりも長く存在していることが明らかになった。

ABSTRACT

The Web has been around and maturing for 25 years. The popular websites of today have undergone vast changes during this period, with a few being there almost since the beginning and many new ones becoming popular over the years. This makes it worthwhile to take a look at how these sites have evolved and what they might tell us about the future of the Web. We therefore embarked on a longitudinal study spanning almost the whole period of the Web, based on data collected by the Internet Archive starting in 1996, to retrospectively analyze how the popular Web as of now has evolved over the past 18 years. For our study we focused on the German Web, specifically on the top 100 most popular websites in 17 categories. This paper presents a selection of the most interesting findings in terms of volume, size as well as age of the Web. While related work in the field of Web Dynamics has mainly focused on change rates and analyzed datasets spanning less than a year, we looked at the evolution of websites over 18 years. We found that around 70% of the pages we investigated are younger than a year, with an observed exponential growth in age as well as in size up to now. If this growth rate continues, the number of pages from the popular domains will almost double in the next two years. In addition, we give insights into our data set, provided by the Internet Archive, which hosts the largest and most complete Web archive as of today.

研究の動機と目的

• 今日のドイツの代表的ウェブサイトが、18年間にわたり年齢、ボリューム、サイズの観点からどのように進化したかを理解すること。
• インターネット・アーカイブのウェブクロールデータが、ドイツのウェブで最も人気のあるドメインをどれだけ的確に捉えているかを評価すること。
• 教育、ビジネス、ゲームなど、異なるウェブサイトカテゴリー間での成長パターンを比較すること。
• 今後のウェブ進化、アーカイブの完全性、コンテンツダイナミクスに関する研究の基盤を提供すること。

提案手法

• 1996年から2013年までのドイツのウェブクロールデータから、URL、ドメイン、タイムスタンプのメタデータをインターネット・アーカイブのCDXインデックスを用いて抽出した。
• ドメインボリュームを1ドメインあたりのユニークURL総数として定義し、ページサイズを1URLあたりの平均コンテンツサイズとした。
• URLの年齢を、初出時刻から研究期間終了時（2013年）までの期間を計算することで追跡した。
• 教育、ゲーム、ショッピングなど17のトピック的グループにドメインを分類し、分野間での成長トレンドを比較した。
• DENICのレジストリーデータと比較することで、アーカイブ内でのドメイン出現の代表性を検証した。
• 2010年以降のクローリングポリシーが安定していると仮定し、縦断的分析を用いて成長トレンドをモデル化し、将来の進化を予測した。

実験結果

リサーチクエスチョン

• RQ1 今日の人気ドイツウェブサイトの年齢、ボリューム、サイズは18年間でどのように変化したか？
• RQ2 インターネット・アーカイブのクロールデータは、ドイツのウェブで人気のドメインの実際の成長をどの程度的確に反映しているか？
• RQ3 教育、ゲーム、ショッピングなどの異なるウェブサイトカテゴリーは、年齢とボリュームの観点で特徴的な成長パターンを示すか？
• RQ4 時間的・カテゴリー的要因を考慮した場合、ドメインボリュームとページサイズの指数関数的成長はどのように比較されるか？

主な発見

• 分析されたURLの約70%が1年未塔であり、コンテンツの入れ替え率が非常に高いことが示された。
• 人気ドメインのボリュームは指数関数的に増加しており、およそ2年ごとに倍増している。
• 新規作成されたウェブページの平均サイズは時間経過とともに増加しており、コンテンツ量またはマークアップの複雑さが増していると考えられる。
• 今日の人気大学ドメインの約75%が1999年までには既に稼働していたのに対し、人気ゲームドメインの20%未塔しか当時から存在していなかった。
• インターネット・アーカイブのデータは、人気ドメインの代表性が非常に高い。アーカイブ内のドメイン出現トレンドはDENICのレジストリーデータとよく一致している。
• 本研究は、ウェブコンテンツの大部分が新しくて、長期間にわたって存続するページが少数であるが、ウェブ全体の年齢に顕著な貢献をしていることを確認した。