[論文レビュー] Formats over Time: Exploring UK Web History

Andrew Jackson|arXiv (Cornell University)|Oct 5, 2012

Web Data Mining and Analysis参考文献 1被引用数 6

ひとこと要約

本研究では、1996年から2010年までの25億以上のUKウェブリソースをDROID-BおよびApache Tikaを用いて分析し、フォーマット、バージョン、ソフトウェア、ハードウェアを特定した。その結果、ネットワーク効果の安定化によりソフトウェアの陳腐化はまれであることが判明した。主な発見は、多くのフォーマットが10年以上にわたり存続しており、新規フォーマットはゆっくりと出現し、バージョンは徐々に消え去ることであり、デジタルフォーマットは本質的に脆いという考えに反するものである。

ABSTRACT

Is software obsolescence a significant risk? To explore this issue, we analysed a corpus of over 2.5 billion resources corresponding to the UK Web domain, as crawled between 1996 and 2010. Using the DROID and Apache Tika identification tools, we examined each resource and captured the results as extended MIME types, embedding version, software and hardware identifiers alongside the format information. The combined results form a detailed temporal format profile of the corpus, which we have made available as open data. We present the results of our initial analysis of this dataset. We look at image, HTML and PDF resources in some detail, showing how the usage of different formats, versions and software implementations has changed over time. Furthermore, we show that software obsolescence is rare on the web and uncover evidence indicating that network effects act to stabilise formats against obsolescence.

研究の動機と目的

• 長期的なデジタル保存において、ソフトウェアの陳腐化が重大なリスクであるかどうかを調査すること。
• UKウェブドメインにおけるフォーマットの使用状況、バージョン、ソフトウェア実装の時間的変化を理解すること。
• ネットワーク効果がデジタルフォーマットの陳腐化リスクを低減する役割を評価すること。
• 自動化された識別ツールを用いて大規模かつオープンフォーマットのリソースプロファイルを構築・検証すること。
• 大規模なコーパスにおいて、フォーマット識別ツール（DROID-BおよびApache Tika）の信頼性と一貫性を評価すること。

提案手法

• 1996年から2010年までの35TBのコーパス（25億件のUKウェブリソース）を収集し、50ノードのHDFSクラスタにホスティングした。
• DROID-B（DROIDの改変版）を用いて、フォーマット、バージョン、ソフトウェア、ハードウェアメタデータを特定した。
• 広範なフォーマットカバレッジとより深いビットストリーム解析を補完するために、Apache Tikaを併用した。
• コンテンツベースの正確性を確保するため、メタデータやURLではなく、ビットストリームそのものに対してフォーマット識別を実施した。
• 両方のツールの結果を統合し、不一致の検出、シグネチャ品質の向上、フォーマット識別精度の向上を図った。
• 画像、HTML、PDFリソースにおけるフォーマット人気、バージョン使用状況、ソフトウェア／ハードウェア識別子の時間的傾向を分析した。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク効果がどれほどデジタルフォーマットを安定化させ、陳腐化リスクを低減するのか。
• RQ2 異なるフォーマット、バージョン、ソフトウェア実装の使用パターンは、時間経過とともにどのように変化するのか。
• RQ3 新規フォーマットは持続可能な速度で出現しているのか。また、古いフォーマットは急速に消え去るのか、それともゆっくりと衰退するのか。
• RQ4 大規模かつ多様なコーパスにおいて、DROID-BとApache Tikaのフォーマット識別結果の整合性はどの程度か。
• RQ5 複数のツールの統合出力は、デジタルフォーマットの進化をより信頼性があり詳細にプロファイルするのに有効か。

主な発見

• 47のフォーマットが15年間以上存続しており、急速な陳腐化ではなく、長期的な安定性が示された。
• 1996年から2010年の間、平均して年間約6つの新規フォーマットが登場した一方、年間約2つのフォーマットが陳腐化した。
• JPEGは画像フォーマットの中で一貫して支配的であったが、GIF、TIFF、XBMは使用が減少し、特にXBMの使用は急激に低下した。
• HTMLのバージョンは時間経過とともに徐々に増加し、2010年までに6つの主要バージョンが同時に使用されており、新しいバージョンが数年間優勢に保たれた後、ゆっくりと衰退した。
• PDFのバージョンは1996年の3つ（1.0～1.2）から2010年には11つに増加し、1.2～1.6が依然として支配的であった。古いバージョンの衰退はゆっくりと進行した。
• PDFに関しては2,100以上の異なるソフトウェア実装、JPEGに関しては1,900以上の異なるソフトウェア実装が同定され、広く使われるフォーマットにおける標準化と成熟度の高さが示された。