[論文レビュー] Investigating the Change of Web Pages' Titles Over Time

Martin Klein, Michael L. Nelson|ArXiv.org|Jul 20, 2009

Web Data Mining and Analysis参考文献 23被引用数 3

ひとこと要約

本稿では、インターネットアーカイブのスナップショットを用いて、ウェブページのタイトルが時間経過とともにどのように安定しているかを調査し、404ページの即時検索による回復に向けた、語彙的シグネチャ（LS）の低コスト代替手段としての有効性を評価する。タイトルの変更頻度は低く、変更の度合いも非常に小さい—変更頻度が低く、レーベンシュタイン類似度が高いため—タイトルが極めて安定しており、404ページの即時検索による回復に有効であることが示された。

ABSTRACT

Inaccessible web pages are part of the browsing experience. The content of these pages however is often not completely lost but rather missing. Lexical signatures (LS) generated from the web pages' textual content have been shown to be suitable as search engine queries when trying to discover a (missing) web page. Since LSs are expensive to generate, we investigate the potential of web pages' titles as they are available at a lower cost. We present the results from studying the change of titles over time. We take titles from copies provided by the Internet Archive of randomly sampled web pages and show the frequency of change as well as the degree of change in terms of the Levenshtein score. We found very low frequencies of change and high Levenshtein scores indicating that titles, on average, change little from their original, first observed values (rooted comparison) and even less from the values of their previous observation (sliding).

研究の動機と目的

• 欠落したウェブページを再発見するための語彙的シグネチャ（LS）の代替手段として、ウェブページタイトルの時間的安定性を低コストで評価すること。
• ウェブページが404エラーまたは関連のないコンテンツを返した場合、タイトルが信頼できる検索クエリとして十分に一貫性を保っているかどうかを特定すること。
• LS生成に比べて計算コストを削減できる点を踏まえ、タイトルベースのクエリをリアルタイムシステムに組み込む可能性を評価すること。
• キャッシュ済みコンテンツやリンクネシャードからのより複雑なLS生成に至る前の段階として、タイトルをマルチステージ発見パイプラインの初期段階のクエリとして活用する可能性を検討すること。

提案手法

• ランダムに選択されたウェブページのインターネットアーカイブ（IA）から、複数のスナップショットを用いてタイトルを収集した。
• 各タイトルを最初に観測されたバージョン（ルート比較）と直前のバージョン（スライディング比較）とで比較し、タイトルの変更頻度を算出した。
• 1つの文字列を別の文字列に変換するために必要な1文字単位の編集回数を数値化するレーベンシュタイン編集距離スコアを用いて、タイトル変更の度合いを測定した。
• すべてのタイトルにおけるレーベンシュタインスコアの分布を分析し、平均類似度と変更の深刻度を評価した。
• レーベンシュタインスコアを用いて、変更の頻度と変更の大きさの両方を定量化した。高いスコアは類似度が高く、変更が少ないことを示した。
• 時間的変化を理解するために、2つの比較モデル（ルート比較：最初に観測されたタイトル vs. スライディング比較：直前のタイトル）の両方でタイトルの安定性を評価した。

実験結果

リサーチクエスチョン

• RQ1 インターネットアーカイブの複数のスナップショットから観測されたウェブページタイトルは、時間経過とともにどの程度の頻度で変更されるか？
• RQ2 レーベンシュタイン編集距離で測定した場合、ウェブページタイトルの語彙的コンテンツはどの程度変化するか？
• RQ3 最初のバージョン（ルート比較）と直前のバージョン（スライディング比較）の両方と比較した場合、タイトルの安定性にどのような差が生じるか？
• RQ4 タイトルが時間経過で安定しているという前提のもと、404エラーが発生した場合に、タイトルを検索エンジンのクエリとして信頼して使用できるか？

主な発見

• タイトルの変更頻度は非常に低く、大多数のタイトルが複数のスナップショットにわたり変更されないまま維持されている。
• ルート比較およびスライディング比較の両方において、タイトル比較のレーベンシュタインスコアは一貫して高く、語彙的変更が極めて少ないことが示された。
• 平均的には、直前の観測バージョン（スライディング比較）との比較において、オリジナルバージョン（ルート比較）との比較よりも著しく変更が少なかった。これは、タイトルが初期の変更を経て安定化することを示唆している。
• 高いレーベンシュタインスコアは、タイトルが時間の経過とともに元の意味や構造を保持しており、極めて安定していることを示しており、検索ベースの発見に信頼できるものである。
• 結果から、LS生成に比べてコストが低く、効果的な代替手段としてタイトルを用いることが支持された。
• タイトルの安定性は、LS計算が高コストであるため、404エラー発生時に即座に関連する結果を提供できるリアルタイムシステムへの応用が可能であることを示唆している。