[論文レビュー] Google Web APIs - an Instrument for Webometric Analyses?

Philipp Mayr, Fabio Tosques|ArXiv.org|Jan 24, 2006

Web visibility and informetrics参考文献 7被引用数 30

ひとこと要約

この論文は、ウェブメトリクス研究のためのGoogle Web APIの有効性を評価し、ウェブの情報学的分析においてその有用性を示している。制限はあるが、著者らはAPIがウェブコンテンツおよびリンク構造の効果的で大規模な分析を可能にすることを示しており、特定の研究課題において従来のウェブクローリングの代替手段として実用的であることを示している。

ABSTRACT

This paper introduces Google Web APIs (Google APIs) as an instrument and playground for webometric studies. Several examples of Google APIs implementations are given. Our examples show that this Google Web Service can be used successfully for informetric Internet based studies albeit with some restrictions.

研究の動機と目的

• Google Web APIを用いたウェブメトリクスおよび情報学的研究の実現可能性を評価すること。
• Googleの検索インfraストラクチャが大規模なウェブデータ収集をどのように支援できるかを調査すること。
• 従来のウェブクローリング手法と比較して、Google Web APIの強みと限界を特定すること。
• ウェブメトリクス研究におけるAPIの使用法の実践的例を提示すること。

提案手法

• 著者らは、検索結果およびメタデータを抽出するためにGoogle Web APIを用いて複数のアプリケーションを実装した。
• 検索結果セットの構造とコンテンツを分析し、リンク数や文書の関連性といったウェブメトリクス的性質を推定した。
• 標準化されたAPI呼び出しを介してGoogleの検索エンジンにプログラム的アクセスし、構造化されたデータを取得した。
• 本研究のアプローチは、検索およびインデックス情報のためのGoogleのパブリックAPIエンドポイントの利用可能性と信頼性に依存している。
• 正確性とカバレッジを評価するために、APIベースの結果と従来のウェブクローリングからの期待される結果を比較した。
• さまざまなクエリ条件およびデータ量下でのAPIのパフォーマンスと限界を評価した。

実験結果

リサーチクエスチョン

• RQ1 Google Web APIは大規模なウェブメトリクス分析を効果的に支援できるか？
• RQ2 情報学的研究において、従来のウェブクローリングと比較してGoogle Web APIの限界は何か？
• RQ3 Google Web APIを介して取得された検索結果セットは、研究目的においてどれほど正確で信頼できるか？
• RQ4 APIは科学的分析のためのウェブコンテンツの代表的サンプルをどの程度提供できるか？

主な発見

• Google Web APIは、情報学的およびウェブメトリクス研究に成功裏に利用可能であり、大規模なウェブクローリングの実用的代替手段を提供する。
• APIは検索結果への構造化されたアクセスを提供し、大規模分析のための効率的なデータ収集を可能にする。
• 制限にはレート制限、一部メタデータへのアクセス制限、および検索結果順序のバイアスが含まれる。
• 著者らは、一般的なクエリではAPIの結果が一貫性があり信頼できると観察したが、カバレッジは変動する可能性がある。
• 本研究は、APIがリンク数および文書メタデータの取得に特に効果的であることを確認した。
• 制限は存在するが、広大なインfraストラクチャを整備する必要なく、研究者が意味のあるウェブメトリクス分析を実施できる。