[논문 리뷰] The Dawn of Today's Popular Domains: A Study of the Archived German Web over 18 Years

Helge Holzmann, Wolfgang Nejdl외 1명|arXiv (Cornell University)|2017. 02. 03.

Web Data Mining and Analysis참고 문헌 10인용 수 15

한 줄 요약

이 종단적 연구는 1996년에서 2013년 사이에 독일의 상위 100개 인기 웹사이트가 17개 카테고리에 걸쳐 어떻게 변화해왔는지를 인터넷 아카이브의 웹 크롤링 자료를 사용해 분석한다. 연구 결과, 페이지의 약 70퍼센트가 1년 미만의 나이를 지닌 것으로 나타났으며, 도메인 수와 페이지 크기는 기하급수적으로 증가했다. 유명한 도메인은 약 2년마다 볼륨이 두 배로 증가했고, 카테고리별 경향을 살펴보면 대학 웹사이트는 게임이나 쇼핑 웹사이트보다 오랫동안 존재해온 것으로 나타났다.

ABSTRACT

The Web has been around and maturing for 25 years. The popular websites of today have undergone vast changes during this period, with a few being there almost since the beginning and many new ones becoming popular over the years. This makes it worthwhile to take a look at how these sites have evolved and what they might tell us about the future of the Web. We therefore embarked on a longitudinal study spanning almost the whole period of the Web, based on data collected by the Internet Archive starting in 1996, to retrospectively analyze how the popular Web as of now has evolved over the past 18 years. For our study we focused on the German Web, specifically on the top 100 most popular websites in 17 categories. This paper presents a selection of the most interesting findings in terms of volume, size as well as age of the Web. While related work in the field of Web Dynamics has mainly focused on change rates and analyzed datasets spanning less than a year, we looked at the evolution of websites over 18 years. We found that around 70% of the pages we investigated are younger than a year, with an observed exponential growth in age as well as in size up to now. If this growth rate continues, the number of pages from the popular domains will almost double in the next two years. In addition, we give insights into our data set, provided by the Internet Archive, which hosts the largest and most complete Web archive as of today.

연구 동기 및 목표

• 오늘날 독일에서 가장 인기 있는 웹사이트들이 나이, 볼륨, 크기 측면에서 18년 동안 어떻게 변화했는지 이해하기 위해.
• 인터넷 아카이브의 웹 크롤링 자료가 독일 웹에서 가장 인기 있는 도메인의 실제 성장을 얼마나 잘 반영하고 있는지 평가하기 위해.
• 교육, 비즈니스, 게임 등 다양한 웹사이트 카테고리 간 성장 패턴을 비교하기 위해.
• 향후 웹 변화, 아카이브 완전성, 콘텐츠 역학에 관한 연구의 기초를 마련하기 위해.

제안 방법

• 1996~2013년 사이 독일 웹 크롤링 자료에서 URL, 도메인, 타임스탬프의 메타데이터를 인터넷 아카이브의 CDX 인덱스를 사용해 추출했다.
• 도메인 볼륨을 도메인당 고유 URL의 총수로 정의하고, 페이지 크기를 URL당 평균 콘텐츠 크기로 정의했다.
• URL의 나이를 분석하기 위해 첫 등장 시점에서 연구 기간 종료 시점(2013년)까지의 시간 간격을 계산했다.
• 교육, 게임, 쇼핑 등 17개 주제군(예: 대학, 게임, 쇼핑)으로 도메인을 분류하여 부문 간 성장 추세를 비교했다.
• DENIC 레지스트리의 등록 도메인 데이터와 비교하여 대표성을 검증했다.
• 2010년 이후 크롤링 정책이 안정적이라는 가정 하에 종단적 분석을 적용해 성장 추세를 모델링하고 미래 변화를 예측했다.

실험 결과

연구 질문

• RQ1 오늘날의 인기 있는 독일 웹사이트들이 18년 동안 나이, 볼륨, 크기 측면에서 어떻게 변화했는가?
• RQ2 인터넷 아카이브의 크롤링 데이터가 독일 웹에서 인기 있는 도메인의 실제 성장을 어느 정도 반영하고 있는가?
• RQ3 교육, 게임, 쇼핑 등 다양한 웹사이트 카테고리(예: 교육, 게임, 쇼핑)는 나이와 볼륨 측면에서 서로 다른 성장 패턴을 보이는가?
• RQ4 시간과 카테고리 간에 도메인 볼륨과 페이지 크기의 기하급수적 증가율은 어떻게 비교되는가?

주요 결과

• 분석된 URL 중 약 70퍼센트가 1년 미만의 나이를 지니며, 콘텐츠 회전율이 매우 높음을 시사한다.
• 유명한 도메인의 볼륨은 기하급수적으로 증가했으며, 약 2년마다 두 배로 증가하는 듯한 경향을 보였다.
• 최근에 생성된 웹페이지의 평균 크기가 시간이 지남에 따라 증가했으며, 이는 콘텐츠의 증가나 마크업 복잡도 증가를 시사한다.
• 오늘날의 주요 대학 도메인 중 약 75퍼센트는 1999년 이전에 이미 활성화되어 있었지만, 오늘날의 주요 게임 도메인 중 20퍼센트 미만이 그때 이미 존재했다.
• 인터넷 아카이브의 데이터는 대표성이 높았으며, 도메인 출현 추세가 DENIC의 레지스트리 데이터와 매우 유사하게 나타났다.
• 이 연구는 대부분의 웹 콘텐츠가 젊다는 것을 확인했지만, 일부 장기적으로 유지되는 페이지가 전체 웹의 나이에 상당한 기여를 하고 있음을 확인했다.