[논문 리뷰] Google Web APIs - an Instrument for Webometric Analyses?

Philipp Mayr, Fabio Tosques|ArXiv.org|2006. 01. 24.

Web visibility and informetrics참고 문헌 7인용 수 30

한 줄 요약

이 논문은 웹미터리크 연구를 위한 도구로 Google Web API를 평가하며, 웹의 정보지표 연구를 수행하는 데 그 유용성을 입증한다. 한계가 있음에도 불구하고, 저자들은 API가 웹 콘텐츠 및 링크 구조의 효과적이고 대규모 분석을 가능하게 하여 특정 연구 과제에 대해 전통적인 웹 크롤링의 실질적인 대안이 될 수 있음을 보여준다.

ABSTRACT

This paper introduces Google Web APIs (Google APIs) as an instrument and playground for webometric studies. Several examples of Google APIs implementations are given. Our examples show that this Google Web Service can be used successfully for informetric Internet based studies albeit with some restrictions.

연구 동기 및 목표

• Google Web API를 웹미터리크 및 정보지표 연구에 활용할 수 있는지의 가능성을 평가하기 위해.
• Google의 검색 인프라가 대규모 웹 데이터 수집을 어떻게 지원할 수 있는지 탐색하기 위해.
• 기존의 웹 크롤링 방법과 비교할 때 Google Web API의 강점과 한계를 규명하기 위해.
• 웹미터리크 연구에서 API 사용의 실용적 사례를 제공하기 위해.

제안 방법

• 저자들은 검색 결과와 메타데이터를 추출하기 위해 Google Web API를 사용하여 여러 응용 프로그램을 구현한다.
• 검색 결과 세트의 구조와 콘텐츠를 분석하여 링크 수와 문서 관련성과 같은 웹미터리크 성질을 유추한다.
• 표준화된 API 호출을 통해 Google의 검색 엔진에 프로그래밍 방식으로 접근하여 구조화된 데이터를 취득한다.
• 이 접근법은 검색 및 인덱싱 정보를 위한 Google의 공개 API 엔드포인트의 가용성과 신뢰성에 의존한다.
• 정확성과 커버리지 측면에서 API 기반 결과를 전통적인 웹 크롤링 결과와 비교하여 평가한다.
• 다양한 쿼리 조건과 데이터 볼륨 하에서 API의 성능과 한계를 평가한다.

실험 결과

연구 질문

• RQ1 Google Web API는 대규모 웹미터리크 분석을 효과적으로 지원할 수 있는가?
• RQ2 정보지표 연구에서 기존의 웹 크롤링과 비교할 때 Google Web API의 한계는 무엇인가?
• RQ3 Google Web API를 통해 취득한 검색 결과 세트는 연구 목적으로 얼마나 정확하고 신뢰할 수 있는가?
• RQ4 API는 과학적 분석을 위한 웹 콘텐츠의 대표적인 샘플을 어느 정도 제공할 수 있는가?

주요 결과

• Google Web API는 정보지표 및 웹미터리크 연구에 성공적으로 활용될 수 있으며, 대규모 웹 크롤링의 실질적인 대안이 될 수 있다.
• API는 검색 결과에 대한 구조화된 접근을 제공하여 대규모 분석을 위한 효율적인 데이터 수집을 가능하게 한다.
• 한계로는 속도 제한, 일부 메타데이터에 대한 액세스 제한, 검색 결과 순서의 잠재적 편향이 있다.
• 저자들은 일반적인 쿼리에 대해서는 API 결과가 일관되고 신뢰할 수 있음을 관찰했지만, 커버리지가 변동성이 있음을 확인했다.
• 이 연구는 API가 링크 수와 문서 메타데이터를 추출하는 데 특히 효과적임을 확인했다.
• 제약이 있음에도 불구하고, API는 광범위한 인프라 없이도 의미 있는 웹미터리크 분석을 수행할 수 있도록 한다.