[논문 리뷰] MaxOutProbe: An Algorithm for Increasing the Size of Partially Observed Networks

Sucheta Soundarajan, Tina Eliassi‐Rad외 2명|arXiv (Cornell University)|2015. 11. 20.

Complex Network Analysis Techniques참고 문헌 20인용 수 8

한 줄 요약

MaxOutProbe는 부분적으로 관측된 네트워크에서 탐색을 위해 노드를 선택하는 이중 단계 알고리즘으로, 새로 관측된 노드 수를 최대화한다. 이 알고리즘은 각 노드의 진짜 차수와 네트워크의 평균 군집 계수를 추정하여, 가장 많은 수의 미관측 인접 노드와 연결될 가능성이 높은 노드를 우선순위에 따라 정렬한다. 이는 여섯 개의 데이터셋과 네 가지 샘플링 방법 전반에서 무작위 탐색 및 고차수 탐색 전략보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Networked representations of real-world phenomena are often partially observed, which lead to incomplete networks. Analysis of such incomplete networks can lead to skewed results. We examine the following problem: given an incomplete network, which $b$ nodes should be probed to bring the largest number of new nodes into the observed network? Many graph-mining tasks require having observed a considerable amount of the network. Examples include community discovery, belief propagation, influence maximization, etc. For instance, consider someone who has observed a portion (say 1%) of the Twitter retweet network via random tweet sampling. She wants to estimate the size of the largest connected component of the fully observed retweet network. To improve her estimate, how should she use her limited budget to reduce the incompleteness of the network? In this work, we propose a novel algorithm, called MaxOutProbe, which uses a budget $b$ (on nodes probed) to increase the size of the observed network in terms of the number of nodes. Our experiments, across a range of datasets and conditions, demonstrate the advantages of MaxOutProbe over existing methods.

연구 동기 및 목표

• 제한된 탐색 예산 내에서 부분적으로 관측된 네트워크 관측을 향상시키는 데 도전하는 것.
• 부분적인 데이터만 이용 가능한 상황에서 네트워크 분석의 정확성과 완전성을 향상시키는 것.
• 부분적으로 관측된 네트워크가 어떻게 샘플링되었는지에 대한 사전 지식이 없는 탐색 전략을 개발하는 것.
• 가장 정보가 풍부한 노드를 선택하여 새로 관측된 노드 수를 최대화하는 것.

제안 방법

• 부분적으로 관측되었지만 탐색되지 않은 각 노드의 진짜 차수를 국소적인 구조적 정보를 사용하여 추정한다.
• 기본이 되는 완전한 네트워크의 평균 군집 계수를 추정하여 이웃 수 예측을 정밀화한다.
• 추정된 차수와 군집 계수를 사용하여 각 노드의 미관측 이웃 수의 기대값을 계산한다.
• 각 노드의 추정된 외부 이웃 수에 따라 모든 탐색되지 않은 노드를 순위 매긴다.
• 외부 연결 수가 가장 높은 상위 $ b $개의 노드를 탐색 대상으로 선택한다.
• 샘플링 과정이나 기본적인 차수 분포에 대한 가정 없이 작동하므로 다양한 유형의 네트워크에 대해 강건하다.

실험 결과

연구 질문

• RQ1 부분적으로 관측된 네트워크에서 어떤 노드가 가장 많은 수의 미관측 노드와 연결될 가능성이 높은가?
• RQ2 샘플링 과정에 대한 사전 지식 없이 부분적으로 관측된 네트워크의 노드들이 얼마나 많은 미관측 이웃을 가질 수 있는지 어떻게 추정할 수 있는가?
• RQ3 추정된 차수와 군집 계수를 기반으로 한 탐색 전략이 무작위 또는 고차수 노드 선택 전략보다 뛰어나게 작동할 수 있는가?
• RQ4 기존의 접근 방식과 비교해 볼 때 MaxOutProbe는 다양한 네트워크 유형과 샘플링 방법에서 어떻게 성능을 발휘하는가?
• RQ5 어떤 네트워크 조건에서 MaxOutProbe의 성능이 고차수 탐색과 다를까?

주요 결과

• MaxOutProbe는 여섯 개의 데이터셋과 네 가지 샘플링 방법 전반에서 무작위 탐색 및 고차수 탐색을 항상 뛰어넘는다.
• MaxOutProbe의 AUC는 고차수 탐색보다 4%에서 36% 높아, 유의미한 가치를 지닌 노드를 선택하는 데서 뛰어난 성능을 보였다.
• 낮은 군집 계수를 가진 네트워크에서는 MaxOutProbe의 성능이 고차수 탐색과 수렴함을 보이며, 이는 알고리즘이 네트워크의 구조적 특성에 적응함을 시사한다.
• 다양한 샘플링 메커니즘에 의해 생성된 부분적으로 관측된 네트워크에서도 MaxOutProbe는 관측된 네트워크 크기의 상당한 향상을 달성한다.
• MaxOutProbe는 샘플링 과정이나 차수 분포에 대한 지식이 필요 없어, 실제의 부분 관측 네트워크 상황에 널리 적용 가능하다.
• 이중 단계 접근 방식인 추정 후 선택을 통해 예산 제약 조건 하에서도 정확하고 확장 가능한 노드 우선순위 정렬이 가능하다.