[논문 리뷰] Predictability of missing links in complex networks

Guillermo García-Pérez, Roya Aliakbarisani외 2명|arXiv (Cornell University)|2019. 01. 31.

Complex Network Analysis Techniques인용 수 3

한 줄 요약

이 논문은 복잡한 네트워크에서 링크 예측 정확도의 이론적 상한을 설정하며, 네트워크 형성 과정의 본질적 확률적 특성으로 인해 심지어 최적의 방법—결합 확률에 따라 빠진 링크를 순위 매기는 방법—도 완벽한 정밀도를 달성할 수 없다는 점을 보여준다. 주요 기여는 실제 네트워크에서 적합된 네트워크 모델을 사용하여 이러한 예측 가능성 한계를 추정하는 프레임워크를 제공하는 것이다.

ABSTRACT

Predicting missing links in real networks is an important problem in network science to which considerable efforts have been devoted, giving as a result a vast plethora of link prediction methods in the literature. In this work, we take a different point of view on the problem and study the theoretical limitations to the predictability of missing links. In particular, we hypothesise that there is an irreducible uncertainty in link prediction on real networks as a consequence of the random nature of their formation process. By considering ensembles defined by well-known network models, we prove analytically that even the best possible link prediction method for an ensemble, given by the ranking of the ensemble connection probabilities, yields a limited precision. This result suggests a theoretical limitation to the predictability of links in real complex networks. Finally, we show that connection probabilities inferred by fitting network models to real networks allow to estimate an upper-bound to the predictability of missing links, and we further propose a method to approximate such bound from incomplete instances of real-world networks.

연구 동기 및 목표

• 실제 복잡한 네트워크에서 빠진 링크의 예측 가능성에 기본적인 이론적 한계가 존재하는지 조사하기.
• 확률적 모델로 정의된 네트워크 집합에 대해 가능한 한 최고의 링크 예측 방법을 특정하기.
• 실제 네트워크에서 유도된 연결 확률에 기반하여 예측 정밀도의 상한을 도출하기.
• 실제 네트워크의 부분적 또는 불완전한 관찰 자료로부터 이러한 상한을 근사하는 방법 개발하기.

제안 방법

• N개의 노드를 가진 무방향 네트워크 집합 EN을 정의하며, 각 노드 쌍 i와 j는 독립적인 확률 pij로 연결된다.
• 네트워크 G의 공동 확률을 P(G) = ∏_{i<j} pij^{aij} (1−pij)^{1−aij}로 모델링하며, 여기서 aij는 인접행렬의 원소이다.
• 원래 네트워크 G에서 링크의 비율 q를 무작위로 제거하여 관측된 그래프 Gobs를 구성하며, 빠진 링크의 수를 유지한다.
• 최적 전략(OS)을 정의하며, 이는 빠진 링크를 연결 확률 pij에 따라 순위 매기고 내림차순으로 예측하는 방법이다.
• 예측 정밀도의 기대값 ⟨Q⟩을 계산하며, 동일한 Gobs를 유도하는 모든 가능한 원래 네트워크 G에 대해 올바르게 예측된 링크의 평균 비율을 구한다.
• 실제 네트워크에 잘 알려진 네트워크 모델(예: 구성 모델, 은닉 변수 모델)을 적합하여 pij를 추정하고, 이에 기반해 OS의 정밀도를 계산함으로써 예측 가능성의 이론적 상한을 추정한다.

실험 결과

연구 질문

• RQ1 주어진 네트워크 집합에서 어떤 링크 예측 방법이라도 달성할 수 있는 최대 정밀도는 얼마인가?
• RQ2 네트워크 형성의 확률적 성격으로 인해 링크 예측에 감소하지 않는 불확실성이 존재하는가?
• RQ3 실제 네트워크에서 유도된 연결 확률을 사용하여 링크 예측 정확도의 이론적 상한을 추정할 수 있는가?
• RQ4 부분적 또는 불완전한 네트워크 데이터만 이용할 경우 이러한 상한을 어떻게 근사할 수 있는가?

주요 결과

• 네트워크 집합에 대한 최적의 링크 예측 전략은 연결 확률 pij에 따라 빠진 링크를 순위 매기는 것으로, 기대 정밀도를 최대화한다.
• 이러한 최적 전략조차도 네트워크 형성 과정의 본질적 랜덤성으로 인해 제한된 정밀도를 보이며, 이는 예측 오차의 이론적 하한을 증명한다.
• 실제 네트워크에서는 네트워크 모델(예: 은닉 변수 모델)을 적합하고 유도된 pij를 사용하여 OS의 정밀도를 계산함으로써 예측 가능성의 상한을 추정할 수 있다.
• 이 방법을 통해 부분 데이터에서 유도된 pij를 사용하여 이러한 상한을 불완전한 네트워크 인스턴스로부터 근사할 수 있다.
• 실제 네트워크(예: 카라테, 폴북스, 플로리다 식량망)에 대한 실증적 검증 결과, 상한이 항상 100% 이하임을 확인하였으며, 감소하지 않는 불확실성을 확인한다.
• 정밀도 한계는 양적 범위로 제한되며, 네트워크의 구조적 특성(예: 차수 이질성 및 군집성)에 따라 달라지며, 이는 모델 적합도에 의해 반영된다.