[논문 리뷰] Approximate Variational Estimation for a Model of Network Formation

Angelo Mele, Lingjiong Zhu|arXiv (Cornell University)|2017. 02. 01.

Markov Chains and Monte Carlo Methods참고 문헌 34인용 수 12

한 줄 요약

이 논문은 지수형 무작위 그래프 모형(ERGMs)에서 계산이 불가능한 정규화 상수를 추정하기 위해 결정론적 변분 평균장 근사 방법을 제안한다. Kullback-Leibler 발산 최소화를 통해 독립적 링크 모형으로 가능도를 근사한다. 비선형 대규모 탈진 이론을 활용해 근사 오차에 대한 엄밀한 상한과 하한을 수립하며, 네트워크 크기가 증가함에 따라 오차가 0으로 수렴함을 증명함으로써 대규모 네트워크에서 일관된 추정이 가능함을 보여준다.

ABSTRACT

We develop approximate estimation methods for exponential random graph models (ERGMs), whose likelihood is proportional to an intractable normalizing constant. The usual approach approximates this constant with Monte Carlo simulations, however convergence may be exponentially slow. We propose a deterministic method, based on a variational mean-field approximation of the ERGM's normalizing constant. We compute lower and upper bounds for the approximation error for any network size, adapting nonlinear large deviations results. This translates into bounds on the distance between true likelihood and mean-field likelihood. Monte Carlo simulations suggest that in practice our deterministic method performs better than our conservative theoretical approximation bounds imply, for a large class of models.

연구 동기 및 목표

• 지수형 무작위 그래프 모형(ERGMs)에서 정규화 상수가 계산이 불가능한 문제를 해결하여 최대우도 추정을 가능하게 하기 위해.
• 밀도 높은 또는 상호의존성이 높은 네트워크에서 몬테카를로 방법(MCMC-MLE)의 느린 수렴 문제를 해결하기 위해.
• MCMC-MLE와 MPLE의 결정론적 대안을 개발하여 이론적으로 근거가 있는 오차 한계를 제공하기 위해.
• 네트워크 크기가 증가함에 따라 평균장 근사가 진짜 정규화 상수로 수렴함을 증명하기 위해.
• 진짜 로그가능도와 근사 로그가능도 사이의 거리를 제한함으로써 대규모 네트워크에서 신뢰할 수 있는 가능도 기반 추론을 가능하게 하기 위해.

제안 방법

• ERGM의 계산이 불가능한 정규화 상수를 독립적 엣지를 가진 더 단순한 모형의 정규화 상수로 대체하기 위해 평균장 근사를 사용한다.
• ERGM과 평균장 모형 간의 Kullback-Leibler 발산을 최소화하여 최적의 독립 엣지 확률을 유도한다.
• Chatterjee와 Dembo(2016)의 비선형 대규모 탈진 이론을 적용하여 정규화 상수 근사 오차에 대한 명시적 상한과 하한을 유도한다.
• 모델 파라미터와 링크 외부성에 의존하는 오차 한계를 유도하며, 이는 밀도 높은 네트워크와 중간 정도로 희박한 네트워크에 대해 유효하다.
• 그래프온 기반 표현을 사용하여 평균장 근사를 분석하고, 엣지-스타 모형에 대해 계산 가능한 오차 한계를 도출한다.
• 네트워크 크기가 증가함에 따라 평균장 근사 오차가 0으로 수렴함을 증명하여 대규모 네트워크에서의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 결정론적 변분 평균장 방법이 ERGM에서 MCMC 기반 추정의 일관되고 계산 가능한 대안이 될 수 있는가?
• RQ2 ERGM의 평균장 정규화 상수 근사 오차에 대한 이론적 한계는 무엇인가?
• RQ3 네트워크 크기가 증가함에 따라 오차는 어떻게 행동하며, 0으로 수렴하는가?
• RQ4 평균장 근사를 사용하여 진짜 로그가능도와 근사 로그가능도 사이의 거리를 슈프-노름에서 제한할 수 있는가?
• RQ5 결과로 도출된 근사 추정량이 네트워크 크기가 커짐에 따라 진짜 최대우도 추정량으로 수렴하는가?

주요 결과

• 논문은 모델 파라미터와 링크 외부성에 의존하는 평균장 정규화 상수 근사 오차에 대한 명시적 상한과 하한을 도출한다.
• 이 한계는 밀도 높은 네트워크와 중간 정도로 희박한 네트워크에 대해 유효하며, 비선형 대규모 탈진 이론을 통해 도출된다.
• 네트워크 크기가 증가함에 따라 평균장 근사 오차가 0으로 수렴하여 근사 가능도의 일관성을 보장한다.
• 진짜 로그가능도와 근사 로그가능도 사이의 거리가 네트워크 크기가 증가함에 따라 슈프-노름에서 0으로 수렴한다.
• строго 볼록한 가능도의 경우, 근사 추정량이 대규모 네트워크에서 최대우도 추정량으로 수렴한다.
• 몬테카를로 시뮬레이션 결과는 이론적 상한보다 실질적으로 더 좋은 성능을 보이며, 예측된 것보다 더 빠른 수렴 속도를 보임을 시사한다.