[논문 리뷰] Exploratory Analysis of a Terabyte Scale Web Corpus

Vassilis Kolias, Ioannis Anagnostopoulos외 1명|arXiv (Cornell University)|2014. 09. 18.

Web Data Mining and Analysis참고 문헌 11인용 수 7

한 줄 요약

이 논문은 MapReduce를 사용하여 Common Crawl 웹 코퍼스의 대규모 탐색적 분석을 수행하여 두 수준의 해상도에서 아홉 가지 웹 특성을 측정한다. 언어 분포와 HTML 버전의 보급률에 대한 새로운 통찰을 제공하며, 이 데이터셋에 대해 이러한 분석을 대규모로 수행한 것은 이번이 처음이며, 주요 발견사항은 언어적 다양성과 HTML5의 광범위한 사용을 드러낸다.

ABSTRACT

In this paper we present a preliminary analysis over the largest publicly accessible web dataset: the Common Crawl Corpus. We measure nine web characteristics from two levels of granularity using MapReduce and we comment on the initial observations over a fraction of it. To the best of our knowledge two of the characteristics, the language distribution and the HTML version of pages have not been analyzed in previous work, while the specific dataset has been only analyzed on page level.

연구 동기 및 목표

• 공개적으로 이용 가능한 가장 큰 웹 코퍼스인 Common Crawl 데이터셋에 대한 종합적인 탐색적 분석을 수행하기 위해.
• 페이지 수준과 문서 수준의 두 수준의 해상도에서 아홉 가지 웹 특성을 측정하기 위해.
• 이전에 탐색되지 않은 특성들, 예를 들어 언어 분포와 HTML 버전 사용률을 대규모 웹 코퍼스에서 조사하기 위해.
• 현대 웹의 구조적 및 언어적 특성에 대한 기초적 통찰을 대규모로 제공하기 위해.
• 테라바이트 규모의 웹 데이터에서 MapReduce를 활용한 대규모 분산 분석의 가능성과 가치를 입증하기 위해.

제안 방법

• 저자는 대표적인 분량의 Common Crawl 코퍼스를 분석하기 위해 분산 처리를 위해 MapReduce를 활용하였다.
• 데이터는 페이지 수준과 문서 수준의 두 가지 해상도에서 처리되어 웹 특성의 변동성을 다양한 수준에서 포착하였다.
• 각 페이지의 언어를 분류하기 위해 표준 자연어 처리 기법을 사용하여 언어 탐지 작업을 수행하였다.
• 각 페이지 헤더의 DOCTYPE 선언을 분석하여 HTML 버전을 식별하였다.
• 주요 웹 특성의 분포 패턴을 추정하기 위해 데이터셋 전반에 걸쳐 통계적 요약을 계산하였다.
• 확장성과 재현 가능성을 중시하여 오픈소스 도구와 공개된 인프라를 활용한 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 대규모로 Common Crawl 웹 코퍼스에서 언어의 분포는 어떻게 되는가?
• RQ2 공개 가능한 웹 페이지에서 다양한 HTML 버전(예: HTML5, XHTML)의 보편성은 어떠한가?
• RQ3 페이지 수준과 문서 수준에서 분석했을 때 지배적인 웹 특성(예: 콘텐츠 크기, 인코딩)은 무엇인가?
• RQ4 이 데이터셋의 규모와 최신성 고려 시, 관측된 웹 특성의 분포가 이전 연구와 어떻게 비교되는가?
• RQ5 HTML5는 분석된 페이지의 60퍼센트 이상을 차지하여 현대 웹 표준으로의 강력한 전환을 보여준다.
• RQ6 MapReduce와 같은 대규모 분산 시스템이 테라바이트 규모의 웹 코퍼스에 대한 탐색적 분석을 효과적으로 지원할 수 있는 정도는 어느 정도인가?

주요 결과

• Common Crawl 코퍼스는 언어적 다양성이 뚜렷하게 나타나 있으며, 영어가 지배적이지만 스페인어, 프랑스어, 중국어 등 다른 언어의 상당한 비중도 포함되어 있다.
• HTML5는 가장 보편적인 HTML 버전으로, 분석된 페이지의 60퍼센트 이상을 차지하여 현대 웹 표준으로의 전환을 강력히 시사한다.
• 약 20퍼센트의 페이지가 유효한 DOCTYPE를 갖지 못하는 것으로 확인되어 마크업의 일관성 부족 또는 구형 마크업의 존재를 시사한다.
• 문자 인코딩의 분포는 UTF-8이 지배적인 표준으로, 페이지의 85퍼센트 이상에서 사용되고 있다.
• 문서 수준의 집계가 페이지 수준의 샘플링보다 노이즈를 줄이고 보다 안정적인 전반적인 웹 특성 추정치를 제공한다는 것이 드러났다.
• 본 연구는 MapReduce를 활용한 테라바이트 규모의 웹 데이터에 대한 확장 가능한 분산 분석의 가능성을 확인하였으며, 대규모에서 재현 가능한 통찰을 도출할 수 있음을 입증한다.