[논문 리뷰] Minfer: Inferring Motif Statistics From Sampled Edges

Pinghui Wang, John C. S. Lui외 1명|arXiv (Cornell University)|2015. 02. 24.

Complex Network Analysis Techniques참고 문헌 35인용 수 10

한 줄 요약

Minfer는 전체 구조가 알려지지 않은 원본 그래프의 진짜 모티프 통계를 무작위로 샘플링된 RESampled 그래프에서 추론하는 새로운 프레임워크이다. 확률 모델과 피셔 정보 기반 오차 한계를 사용하여 대규모 네트워크에서 모티프 농도를 정확하게 추정하며, LiveJournal 및 com-DBLP와 같은 실세계 데이터셋에서 낮은 NRMSE와 날카운 오차 한계를 보여주는 실험 결과를 바탕으로 한다.

ABSTRACT

Characterizing motif (i.e., locally connected subgraph patterns) statistics is important for understanding complex networks such as online social networks and communication networks. Previous work made the strong assumption that the graph topology of interest is known, and that the dataset either fits into main memory or stored on disks such that it is not expensive to obtain all neighbors of any given node. In practice, researchers have to deal with the situation where the graph topology is unknown, either because the graph is dynamic, or because it is expensive to collect and store all topological and meta information on disk. Hence, what is available to researchers is only a snapshot of the graph generated by sampling edges from the graph at random, which we called a "RESampled graph". Clearly, a RESampled graph's motif statistics may be quite different from the underlying original graph. To solve this challenge, we propose a framework and implement a system called Minfer, which can take the given RESampled graph and accurately infer the underlying graph's motif statistics. We also use Fisher information to bound the error of our estimates. Experiments using large scale datasets show that our method to be accurate.

연구 동기 및 목표

• 전체 그래프 구조가 가용하지 않은 상황에서 모티프 통계를 추정하는 문제에 대응하기 위해.
• 무작위 간선 샘플링으로 구성된 부분그래프에서 원본 그래프의 기저 모티프 빈도를 정확하게 추론하는 방법을 개발하기 위해.
• 피셔 정보를 사용하여 모티프 농도 추정치의 이론적 오차 한계를 제공하기 위해.
• 이전의 샘플링 기반 모티프 추정 방법의 한계를 극복하기 위해, 전체 그래프 가용성 또는 효율적인 이웃 쿼리에 의존하지 않는 방법을 개발하기 위해.

제안 방법

• 서브그래프 포함 확률에서 유도된 확률 전이 행렬 P를 사용하여 원본 그래프의 모티프 통계와 RESampled 그래프의 모티프 통계 간의 관계를 모델링한다.
• 전이 행렬 P를 역행렬하여 RESampled 그래프에서 관측된 모티프 빈도에서 원본 모티프 수를 추정한다.
• 피셔 정보를 사용하여 모티프 농도 추정치의 분산에 대한 크래머-라오 하한(CRLB)을 계산하고, 이로써 이론적 오차 한계를 도출한다.
• 유방향 및 무방향 네트워크에서 3-, 4-, 5노드 연결 및 유도된 부분그래프(CISes)에 대해 이 방법을 적용한다.
• 샘플링 비율(p = 0.1에서 0.3 사이)이 다양한 실세계 데이터셋(LiveJournal, soc-Epinions, com-DBLP 등)에서 방법을 검증한다.
• 행렬 역행렬과 서브그래프 열거를 사용하여 다양한 모티프 유형에 대해 전이 행렬 P와 그 역행렬을 계산한다.

실험 결과

연구 질문

• RQ1 무작위 간선 샘플링으로 구성된 RESampled 그래프에서 원본 그래프의 모티프 통계를 정확하게 추론할 수 있는가?
• RQ2 전체 그래프 구조가 가용하지 않은 상황에서 모티프 농도 추정 오차를 어떻게 이론적으로 한계를 두는가?
• RQ3 샘플링 확률 p가 다양한 네트워크 유형에서 모티프 추론 정확도에 미치는 영향은 무엇인가?
• RQ4 진짜 네트워크에서 알려진 모티프 빈도를 가진 실세계 네트워크에서 추론된 모티프 농도는 참값과 어떻게 비교되는가?

주요 결과

• Minfer는 모티프 농도 추정에서 낮은 정규화된 제곱근 평균 제곱오차(NRMSE)를 달성하며, 샘플링 확률 p가 증가할수록 NRMSE가 감소한다.
• 5노드 무방향 모티프의 경우, p = 0.3일 때 NRMSE가 가장 낮았고, 진짜 빈도가 작은 모티프들(6번째, 10번째, 13번째, 17번째, 18번째 모티프)일수록 NRMSE가 가장 높았다.
• 기본 크래머-라오 하한(RCRLBs)은 관측된 제곱근 평균 제곱오차(RMSEs)와 항상 유사했으며, 이는 이론적 오차 한계의 날카로움을 검증한다.
• LiveJournal 데이터셋에서 p = 0.01일 때 3노드 유방향 모티프의 RCRLBs와 RMSE는 거의 구분되지 않아 오차 한계의 높은 신뢰성을 보여준다.
• com-DBLP(3.34×10^10)와 ca-GrQc(3.64×10^7)에서 5노드 CISes의 모티프 빈도를 성공적으로 추정하여 대규모 네트워크에서도 확장 가능함을 입증한다.
• 행렬 역행렬 방법을 통해 3노드 부호화된, 4노드 무방향, 3노드 유방향 부분그래프를 포함한 다양한 모티프 유형에서 정확한 추론이 가능했다.