[논문 리뷰] Scatter Networks: A New Approach for Analyzing Information Scatter on the Web

Lada A. Adamic, Suresh K. Bhavnani외 1명|ArXiv.org|2006. 11. 26.

Complex Network Analysis Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 웹페이지와 사실(정보 조각)을 연결하는 이분 그래프 모델인 산산이 흩어진 네트워크(scalter networks)를 소개하여 웹 상에서 정보가 어떻게 분포되어 있는지 분석한다. 군집화, 중심성, 내구성 테스트와 같은 네트워크 분석 기법을 적용함으로써 저자들은 사실들이 매우 높은 군집성을 보이며, 희귀한 사실들은 종종 전문적인 웹페이지에 숨어 있으며, 다리 역할을 하는 문서들이 종합적인 정보 탐색에 핵심적인 역할을 한다는 점을 밝혀내었고, 이는 더 완전한 정보 검색을 지원하기 위해 검색 엔진 설계를 향상시키는 데 새로운 통찰을 제공한다.

ABSTRACT

Information on any given topic is often scattered across the web. Previously this scatter has been characterized through the distribution of a set of facts (i.e. pieces of information) across web pages, showing that typically a few pages contain many facts on the topic, while many pages contain just a few. While such approaches have revealed important scatter phenomena, they are lossy in that they conceal how specific facts (e.g. rare facts) occur in specific types of pages (e.g. fact-rich pages). To reveal such regularities, we construct bi-partite networks, consisting of two types of vertices: the facts contained in webpages and the webpages themselves. Such a representation enables the application of a series of network analysis techniques, revealing structural features such as connectivity, robustness, and clustering. We discuss the implications of each of these features to the users' ability to find comprehensive information online. Finally, we compare the bipartite graph structure of webpages and facts with the hyperlink structure between the webpages.

연구 동기 및 목표

• 간단한 빈도 분포를 넘어서 웹페이지에 걸쳐 정보가 어떻게 구조적으로 산재해 있는지 이해하는 데에 미처 채워지지 않은 격차를 메우기 위해.
• 다양한 웹페이지에 동시에 나타나는 사실의 공존을 모델링하는 네트워크 기반 프레임워크를 개발하여 정보 분포의 숨겨진 구조적 패턴을 밝혀내기 위해.
• 군집성, 중심성, 내구성과 같은 네트워크 성질이 사용자가 온라인에서 종합적인 정보를 탐색하는 데에 어떤 영향을 미치는지 평가하기 위해.
• 전통적인 하이퍼링크 네트워크와의 비교를 통해 산산이 흩어진 네트워크의 구조적 특성이 정보 접근성에 어떤 영향을 미치는지 평가하기 위해.
• 네트워크 구조를 활용하여 종합적인 정보 검색을 우선시하는 미래의 검색 엔진 설계를 안내하기 위해.

제안 방법

• 웹페이지와 그들이 포함한 사실(정보 조각)이라는 두 종류의 노드를 가진 이분 그래프를 구축하기 위해.
• 공존하는 사실들의 군집을 식별하기 위해 공동 탐지 기법(예: 모듈라리티 기반 알고리즘)을 포함한 네트워크 분석 기법을 적용하기 위해.
• 다른 주제 군집 간을 연결하는 핵심 문서와 사실을 식별하기 위해 간섭 중심성(betweenness centrality)을 사용하기 위해.
• 높은 중심성 노드를 반복적으로 제거하여 네트워크의 연결성에 대한 영향을 평가하기 위해 고장 상황 하에서의 내구성 분석을 수행하기 위해.
• 사실이 많은 페이지가 일반적인지 희귀한 사실을 포함하는지 여부를 판단하기 위해 할당성(assortativity)을 측정하기 위해.
• 정보 탐색의 탐색 효율성을 평가하기 위해 산산이 흩어진 네트워크의 구조를 기반으로 하이퍼링크 구조와 비교하기 위해.

실험 결과

연구 질문

• RQ1 사실들은 공존 및 군집화 측면에서 웹페이지에 어떻게 분포되어 있는가?
• RQ2 정보 공간 내에서 서로 다른 주제 군집 간을 연결하는 데 어떤 웹페이지와 사실이 다리 역할을 하는가?
• RQ3 핵심 페이지를 제거할 경우 정보 접근의 연결성과 종합성은 어떻게 영향을 받는가?
• RQ4 할당성과 군집성과 같은 네트워크 성질이 종합적인 정보 탐색의 용이성과 얼마나 관련이 있는가?
• RQ5 산산이 흩어진 네트워크의 구조가 사용자 탐색과 사실 탐색을 지원하는 데 하이퍼링크 네트워크와 비교해 어떤가?

주요 결과

• 메라노마에 관한 사실들은 주제별 하위 군집으로 매우 높은 군집성을 보이며, 공동 탐지 알고리즘을 통해 전문가가 정의한 주제와 거의 일치하는 군집을 성공적으로 식별하였다.
• 몇몇 간섭 중심성이 높은 문서와 사실들이 주제 군집 간의 중요한 다리 역할을 하여 정보 접근성의 향상을 크게 기여하였다.
• 내구성 분석 결과, 중심 문서의 소수를 제거하는 것만으로도 연결성이 심각하게 손상됨을 확인하여 정보 네트워크의 취약성을 드러냈다.
• 할당성 분석 결과, 사실이 많은 페이지들이 희귀한 사실을 포함하고 있음을 확인하여, 이러한 페이지로 사용자를 유도하면 중복 없이 종합적인 정보를 확보할 수 있음을 시사하였다.
• 산산이 흩어진 네트워크의 구조는 위키피디아의 중심화된 페이지 구조가 모든 사실에 빠르게 접근할 수 있도록 하였고, 멜라노마닷컴의 분산 구조 역시 하이퍼링크 탐색을 통해 종합적인 탐색을 가능하게 함을 보여주었다.
• 산산이 흩어진-하이퍼링크 네트워크는 사실 커버리지와 탐색 안내 기능을 결합하여 종합적 정보 검색을 우선시하는 미래의 검색 엔진 설계에 더 나은 표현을 제공한다.