[논문 리뷰] Fast and scalable likelihood maximization for Exponential Random Graph Models

Nicolò Vallarano, Matteo Bruno외 6명|arXiv (Cornell University)|2021. 01. 29.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

이 논문은 Exponential Random Graph Models (ERGMs)에서 우도 최적화를 위한 세 가지 알고리즘—뉴턴 방법, 준뉴턴 방법, 고정점 절차—을 제안하고 평가한다. 정확도, 속도, 확장성 측면에서 분석하며, 고정점 방법은 수십만 개의 노드를 가진 대규모 네트워크에서도 몇 초 내에 수렴 가능하게 하여 확장성에서 다른 방법들을 능가하면서도 높은 정확도를 유지한다.

ABSTRACT

Exponential Random Graph Models (ERGMs) have gained increasing popularity over the years. Rooted into statistical physics, the ERGMs framework has been successfully employed for reconstructing networks, detecting statistically significant patterns in graphs, counting networked configurations with given properties. From a technical point of view, the ERGMs workflow is defined by two subsequent optimization steps: the first one concerns the maximization of Shannon entropy and leads to identify the functional form of the ensemble probability distribution that is maximally non-committal with respect to the missing information; the second one concerns the maximization of the likelihood function induced by this probability distribution and leads to its numerical determination. This second step translates into the resolution of a system of $O(N)$ non-linear, coupled equations (with $N$ being the total number of nodes of the network under analysis), a problem that is affected by three main issues, i.e. accuracy, speed and scalability. The present paper aims at addressing these problems by comparing the performance of three algorithms (i.e. Newton's method, a quasi-Newton method and a recently-proposed fixed-point recipe) in solving several ERGMs, defined by binary and weighted constraints in both a directed and an undirected fashion. While Newton's method performs best for relatively little networks, the fixed-point recipe is to be preferred when large configurations are considered, as it ensures convergence to the solution within seconds for networks with hundreds of thousands of nodes (e.g. the Internet, Bitcoin). We attach to the paper a Python code implementing the three aforementioned algorithms on all the ERGMs considered in the present work.

연구 동기 및 목표

• O(N)개의 비선형이고 결합된 방정식을 풀어야 하는 Exponential Random Graph Models (ERGMs)에서 우도 최적화의 계산적 과제를 해결한다.
• 기존 방법이 비가역적인 대규모 네트워크, 예를 들어 인터넷이나 비트코인 네트워크와 같은 경우에 대해 ERGM 추론의 확장성을 향상시킨다.
• 이진 및 가중치가 있는, 방향성과 무방향성 네트워크를 포함한 다양한 ERGM에 대해 뉴턴 방법, 준뉴턴 방법, 고정점 절차의 성능을 평가하고 비교한다.
• 재현 가능성과 네트워크 과학 연구 분야에서의 활용을 지원하기 위해 Python 기반의 실용적이고 오픈소스 구현을 제공한다.

제안 방법

• 작은 또는 중간 크기의 네트워크에서 빠른 국소 수렴을 달성하기 위해, 뉴턴 방법을 사용하여 ERGM에서의 우도 최적화를 구현한다. 이는 이차 도함수를 활용한다.
• 헤시안 행렬을 근사함으로써 계산 비용을 줄이고, 합리적인 수렴 속도를 유지하기 위해 준뉴턴 방법을 적용한다.
• 최근 제안된 고정점 반복 절차를 도입하여 헤시안 행렬 계산을 피하고 대규모 네트워크에서 안정적인 수렴을 가능하게 한다.
• 우도 최적화 문제를 로그우도 함수의 도함수에서 유도된 O(N)개의 비선형 방정식의 연립방정식으로 공식화한다.
• 이론적 및 실제적 다양성을 고려하여, 이진 및 가중치 제약 조건이 있는 방향성과 무방향성 네트워크 구조를 포함한 다양한 ERGM에 대해 세 알고리즘을 테스트한다.
• 모든 고려된 ERGM에 대해 세 알고리즘의 파이썬 구현을 공개하여 재현 가능성과 사용 용이성을 보장한다.

실험 결과

연구 질문

• RQ1 뉴턴 방법, 준뉴턴 방법, 고정점 절차는 ERGM 우도 최적화에서 수렴 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ2 인터넷이나 비트코인과 같은 수십만 개의 노드를 가진 대규모 네트워크에 대해 어느 알고리즘이 가장 잘 확장되는가?
• RQ3 뉴턴 방법이 계산적으로 금기화되는 대규모 ERGM에서 고정점 절차가 몇 초 내에 신뢰할 수 있는 수렴을 달성할 수 있는가?
• RQ4 이론적 및 가중치가 있는 네트워크 모델 모두에서 세 알고리즘 간의 계산 비용과 수렴 품질 간의 상충 관계는 어떠한가?
• RQ5 각 알고리즘의 성능은 유 방향성 네트워크 구성과 무방향성 네트워크 구성 간에 어떻게 다를까?

주요 결과

• 뉴턴 방법은 상대적으로 작은 네트워크에서는 가장 높은 정확도와 가장 빠른 수렴 속도를 보이지만, 네트워크 크기에 따라 계산 비용이 매우 빠르게 증가한다.
• 고정점 절차를 통해 인터넷이나 비트코인과 같은 수십만 개의 노드를 가진 네트워크에서도 솔루션 수렴이 몇 초 내에 가능해진다.
• 대규모 ERGM에서 고정점 방법은 확장성 측면에서 뉴턴 방법과 준뉴턴 방법을 모두 능가하며, 안정적인 수렴을 유지한다.
• 대규모 네트워크에서는 고정점 절차가 뉴턴 방법의 고비용 헤시안 계산을 피하면서도 수치적 안정성을 확보하는 실용적인 대안이 된다.
• 제안된 파이썬 구현은 이진 및 가중치가 있는, 방향성과 무방향성 모델을 포함한 모든 테스트된 ERGM을 지원하여 넓은 범위의 재현 가능성과 적용 가능성을 보장한다.