[논문 리뷰] A new algorithm for extracting a small representative subgraph from a very large graph

Harish Sethu, Xiaoyu Chu|arXiv (Cornell University)|2012. 07. 19.

Complex Network Analysis Techniques참고 문헌 29인용 수 10

한 줄 요약

이 논문은 원본 노드 수의 5% 미만으로도 핵심적인 구조적 성질을 유지하면서, 보다 작은 서브그래프를 추출할 수 있는 확장 가능한 그래프 샘플링 알고리즘인 Tiny Sample Extractor를 제안한다. 특히, 도수 분포(도수 지수로 측정)와 군집 계수를 유지한다. 기존의 메트로폴리스 랜덤 워크, 스노볼, 포레스트 파이어와 같은 방법들보다 수렴 속도와 정확도에서 뛰어나며, 5% 미만의 샘플 크기에서도 이 성질들을 거의 이상적인 수준으로 유지한다.

ABSTRACT

Many real-world networks are prohibitively large for data retrieval, storage and analysis of all of its nodes and links. Understanding the structure and dynamics of these networks entails creating a smaller representative sample of the full graph while preserving its relevant topological properties. In this report, we show that graph sampling algorithms currently proposed in the literature are not able to preserve network properties even with sample sizes containing as many as 20% of the nodes from the original graph. We present a new sampling algorithm, called Tiny Sample Extractor, with a new goal of a sample size smaller than 5% of the original graph while preserving two key properties of a network, the degree distribution and its clustering co-efficient. Our approach is based on a new empirical method of estimating measurement biases in crawling algorithms and compensating for them accordingly. We present a detailed comparison of best known graph sampling algorithms, focusing in particular on how the properties of the sample subgraphs converge to those of the original graph as they grow. These results show that our sampling algorithm extracts a smaller subgraph than other algorithms while also achieving a closer convergence to the degree distribution, measured by the degree exponent, of the original graph. The subgraph generated by the Tiny Sample Extractor, however, is not necessarily representative of the full graph with regard to other properties such as assortativity. This indicates that the problem of extracting a truly representative small subgraph from a large graph remains unsolved.

연구 동기 및 목표

• 크기가 크거나 접근성이 제한된 매우 큰 실세계 네트워크에서 전체 분석이 불가능한 상황에서, 작은 대표성 있는 서브그래프를 추출하는 데 도전하는 것.
• 기존 그래프의 성질에 대한 사전 지식이 필요 없이, 샘플 크기 h에 대해 O(h)개의 노드만 방문하는 확장 가능한 샘플링 알고리즘을 개발하는 것.
• 특히 도수 분포와 군집 계수를 포함한 핵심적인 구조적 성질을 최소한의 샘플 크기(원본 그래프의 5% 미만)로 유지하는 것.
• 특히 국소적 액세스만 가능한 네트워크에서 기존 크롤링 기법에 내재된 측정 편향을 줄이는 것.
• 제안된 알고리즘의 성능을 기존 샘플링 전략들과 비교하여, 원본 그래프 성질에 수렴하는 데 걸리는 속도를 평가하는 것.

제안 방법

• 표준 랜덤 워크에서 높은 도수를 가진 노드를 선호하는 경향이 있는 노드 방문 빈도의 본질적 편향을 보완하는 편향 있는 랜덤 워크를 사용한다.
• 크롤링 과정에서 발생하는 측정 편향을 추정하고 보정하기 위해 경험적 방법을 사용하여 샘플링된 서브그래프의 대표성을 향상시킨다.
• 각 새로운 노드를 발견한 후 시작 노드로 돌아오는 방식으로, 체계적인 탐색을 보장하고 중복을 줄인다.
• 방문한 노드의 관측된 도수 분포를 기반으로 편향을 동적으로 조정하여 선호적 첨부 효과를 보완한다.
• 원하는 샘플 크기와 선형적으로 확장되도록 설계되어 있어 대규모 네트워크에서 효율적이다.
• 실행 중에 원본 그래프의 전반적 성질(예: 도수 지수 또는 군집 계수)을 입력으로 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 샘플 크기가 원본 그래프의 5% 미만인 경우, 그래프 샘플링 알고리즘이 대규모 네트워크의 도수 분포를 유지할 수 있는가?
• RQ2 샘플 크기가 증가함에 따라, 다양한 샘플링 전략에서 핵심적인 구조적 성질(도수 지수, 군집 계수, 할당성)의 수렴 정도는 어떻게 변화하는가?
• RQ3 랜덤 워크에서의 편향 보정이 표준 랜덤 워크나 BFS 기반 방법에 비해 샘플링된 서브그래프의 대표성 향상에 얼마나 기여하는가?
• RQ4 새로운 샘플링 전략을 통해 더 작은 샘플 크기로 원본 그래프의 도수 분포에 더 빨리 수렴할 수 있는가?
• RQ5 어떤 샘플링 알고리즘들은 군집 계수와 같은 일부 성질은 유지하지만, 할당성과 같은 다른 성질은 유지하지 못하는 이유는 무엇인가?

주요 결과

• Tiny Sample Extractor는 원본 그래프의 도수 지수에 대해 Metropolized Random Walk, Snowball, Forest Fire 샘플링보다 샘플 크기가 원본의 5% 미만이어도 원본에 수렴하는 데 훨씬 빠르게 수렴한다.
• 샘플 크기가 1%에 불과할 때도, 알고리즘은 원본 그래프의 평균 군집 계수를 매우 정확하게 유지하며, 다른 방법들보다 뛰어난 성능을 보였다.
• 샘플 크기가 20%일 때조차도, Snowball 및 Forest Fire 샘플링은 원본 도수 지수에 수렴하지 못해, 이들의 도수 분포 유지 능력에 근본적인 한계가 있음을 시사한다.
• 모든 테스트된 방법들 중에서, 도수 분포와 군집 계수를 유지하는 데서 알고리즘의 성능이 가장 뛰어나며, 계산 비용이 더 높거나 복잡한 방법들조차도 뛰어넘었다.
• 도수 분포와 군집 계수에 대해 뛰어난 성능을 보였음에도 불구하고, 할당성은 잘 유지하지 못해, 어떤 한 가지 샘플링 방법으로도 모든 네트워크 성질을 동시에 유지하는 것은 불가능하다는 것을 시사한다.
• 결과적으로, 모든 네트워크 성질을 위한 진정으로 대표적인 서브그래프를 생성하는 문제는 아직 해결되지 않았으며, 유지되는 성질 간의 상충 관계는 피할 수 없다.