[논문 리뷰] On the bias of BFS

Maciej Kurant, Athina Markopoulou외 1명|arXiv (Cornell University)|2010. 04. 10.

Complex Network Analysis Techniques참고 문헌 30인용 수 32

한 줄 요약

이 논문은 주어진 도수 분포 $p_k$를 가진 무작위 그래프에서 너비 우선 탐색(BFS) 샘플링의 도수 편향 정도를 정량화하며, BFS가 고도수 노드를 체계적으로 과대 표현함을 보여준다. 또한 BFS, DFS, 숲 불태우기(Forest Fire), 눈보라 샘플링(Snowball Sampling)이 이러한 그래프에서 동일한 편향을 유도하며, 이를 보정하는 방법을 제시한다. 이는 페이스북 네트워크에서 검증되었으며, 비편향된 그래프 샘플링을 위한 실용적 지침을 제공한다.

ABSTRACT

Breadth First Search (BFS) and other graph traversal techniques are widely used for measuring large unknown graphs, such as online social networks. It has been empirically observed that an incomplete BFS is biased toward high degree nodes. In contrast to more studied sampling techniques, such as random walks, the precise bias of BFS has not been characterized to date. In this paper, we quantify the degree bias of BFS sampling. In particular, we calculate the node degree distribution expected to be observed by BFS as a function of the fraction of covered nodes, in a random graph $RG(p_k)$ with a given degree distribution $p_k$. Furthermore, we also show that, for $RG(p_k)$, all commonly used graph traversal techniques (BFS, DFS, Forest Fire, and Snowball Sampling) lead to the same bias, and we show how to correct for this bias. To give a broader perspective, we compare this class of exploration techniques to random walks that are well-studied and easier to analyze. Next, we study by simulation the effect of graph properties not captured directly by our model. We find that the bias gets amplified in graphs with strong positive assortativity. Finally, we demonstrate the above results by sampling the Facebook social network, and we provide some practical guidelines for graph sampling in practice.

연구 동기 및 목표

• 소셜 네트워크와 같은 알려지지 않은 대규모 그래프에서 불완전한 BFS가 유도하는 도수 편향을 공식적으로 특성화하는 것.
• DFS, 숲 불태우기, 눈보라 샘플링과 같은 다른 일반적인 그래프 탐색 기법과 BFS의 편향 행동을 비교하는 것.
• 주어진 도수 분포 $p_k$를 가진 무작위 그래프에서 관측된 샘플링 편향을 보정하기 위한 방법을 개발하는 것.
• 도수 분포의 성질인 정성적 조화성(positive assortativity)이 BFS 편향의 증폭에 미치는 영향을 평가하는 것.
• 실제 페이스북 소셜 네트워크에서의 실증적 검증을 통해 이론적 분석을 바탕으로 실용적인 샘플링 지침을 제공하는 것.

제안 방법

• 무작위 그래프 $RG(p_k)$에서 커버된 노드의 비율에 따라 BFS가 관측하는 기대 도수 분포를 분석적으로 유도하는 것.
• 도수 분포 $p_k$와 탐색된 노드 비율을 사용하여 탐색 편향을 수학적으로 모델링하는 것.
• BFS, DFS, 숲 불태우기, 눈보라 샘플링이 $RG(p_k)$ 그래프에서 동일한 편향을 유도함을 보이며, 이는 공통된 구조적 특성에 기인함을 밝혀내는 것.
• 관측된 도수 분포의 편향을 보정하기 위한 분석 공식을 유도하는 것.
• 도수 분포의 성질인 정성적 조화성이 편향 증폭에 미치는 영향을 평가하기 위한 시뮬레이션 실험 수행.
• 이론적 예측의 정확성을 검증하기 위해 실제 페이스북 소셜 네트워크 데이터를 활용한 실증적 검증 수행.

실험 결과

연구 질문

• RQ1 도수 분포 $p_k$를 가진 무작위 그래프에서 BFS의 도수 편향은 커버된 노드 비율에 어떻게 의존하는가?
• RQ2 DFS, 숲 불태우기, 눈보라 샘플링과 같은 다른 일반적인 그래프 탐색 방법들도 $RG(p_k)$ 그래프에서 BFS와 동일한 도수 편향을 유도하는가?
• RQ3 이론적 모델을 사용하여 BFS 샘플링의 편향을 보정할 수 있으며, 그 보정의 효과는 어떠한가?
• RQ4 정성적 조화성 같은 그래프 성질은 BFS 샘플링 편향의 크기에 어떤 영향을 미치는가?
• RQ5 이론적 분석을 바탕으로 실세계 그래프 측정을 위한 실용적인 샘플링 전략은 무엇인가?

주요 결과

• BFS 샘플링은 고도수 노드 측면에서 체계적인 편향을 보이며, 샘플링된 노드의 도수 분포가 진정한 분포와 현저히 왜곡되어 있음을 보여준다.
• BFS, DFS, 숲 불태우기, 눈보라 샘플링의 네 가지 탐색 방법 모두 $RG(p_k)$ 그래프에서 동일한 편향을 유도하며, 이는 편향의 공통된 구조적 근본 원인을 시사한다.
• 관측된 도수 분포의 편향을 보정하기 위해 유도된 분석 공식을 사용하여 커버된 노드 비율에 따라 조정할 수 있다.
• 그래프의 정성적 조화성이 높을수록 BFS 샘플링의 도수 편향이 증폭되어 고도수 노드의 과대 표현이 더욱 심화됨을 확인하였다.
• 페이스북 네트워크에서의 실증 결과는 이론적 예측을 확인하였으며, 이는 모델이 실제 환경에서 정확함을 입증한다.
• 본 연구는 연구자들이 대표성 있는 그래프 측정을 달성하기 위해 샘플링 전략을 선택하고 편향을 보정할 수 있도록 실용적 지침을 제공한다.