[논문 리뷰] New consistent and asymptotically normal estimators for random graph mixture models

Christophe Ambroise, Catherine Matias|arXiv (Cornell University)|2010. 03. 26.

Complex Network Analysis Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 모멘트 방정식과 복합우도를 사용하여 무작위 그래프 혼합 모델에 대해 일致하고 점근적으로 정규분포를 따르는 추정기들을 제안하며, 네트워크 구조가 간선과 삼중집합 통계량으로 캡처될 수 있음을 입증한다. 주요 기여는 일반적인 소속 모델 하에서 종속된 간선 변수가 존재하더라도 √n-일致성과 점근적 정규성을 증명한 것으로, 변분 추정 방법에 오랫동안 존재해 온 이론적 격차를 해결한다.

ABSTRACT

Random graph mixture models are now very popular for modeling real data networks. In these setups, parameter estimation procedures usually rely on variational approximations, either combined with the expectation-maximisation ( extsc{em}) algorithm or with Bayesian approaches. Despite good results on synthetic data, the validity of the variational approximation is however not established. Moreover, the behavior of the maximum likelihood or of the maximum a posteriori estimators approximated by these procedures is not known in these models, due to the dependency structure on the variables. In this work, we show that in many different affiliation contexts (for binary or weighted graphs), estimators based either on moment equations or on the maximization of some composite likelihood are strongly consistent and $\sqrt{n}$-convergent, where $n$ is the number of nodes. As a consequence, our result establishes that the overall structure of an affiliation model can be caught by the description of the network in terms of its number of triads (order 3 structures) and edges (order 2 structures). We illustrate the efficiency of our method on simulated data and compare its performances with other existing procedures. A data set of cross-citations among economics journals is also analyzed.

연구 동기 및 목표

• 무작위 그래프 혼합 모델에서 잠재된 그룹 구조로 인해 우도가 계산이 불가능해지는 상황에서 변분 추정에 대한 이론적 보장을 부족하게 하는 문제를 해결하기 위해.
• 이진 및 가중치가 부여된 그래프 모두에 대해 스토케스틱 블록모델에서 추정기의 강한 일치성과 √n-점근적 정규성을 확립하기 위해.
• 소속 모델 하에서 낮은 차수의 통계량—특히 간선(차수 2)과 삼중집합(차수 3)—만으로 네트워크 구조가 완전히 복원 가능함을 보여주기 위해.
• 기존의 변분 EM 및 베이지안 방법에 대한 이론적으로 탄탄한 대안을 제공하여, 이들 방법이 공식적인 일치성 및 점근적 정규성 결과를 갖지 못하는 문제를 해결하기 위해.

제안 방법

• 간선 및 삼중집합 수의 충분통계량에서 유도된 모멘트 기반 추정방정식을 사용하여 모델 파라미터를 추정한다.
• 지역적 의존성 구조(예: 노드의 삼중조합) 기반 복합우도를 사용하여 전체 우도 계산이 불가능한 문제를 회피한다.
• 약한 정규성 조건 하에서 일치성과 점근적 정규성을 증명하기 위해 균일 수렴성과 등연속성의 논증을 적용한다.
• 복합로그우도 도함수의 테일러 전개를 통해 점근적 정규성을 확립하며, Godambe 정보에 의해 결정되는 분산을 갖는 정규분포로 수렴함을 보여준다.
• 혼합밀도 간 쿨백-라이블러 발산을 사용하여, 미약한 정규성 가정 하에 진짜 파라미터의 식별성과 유일성을 입증한다.
• 간선 분포함수 f(·, θ)의 연속성과 매끄러움성 및 매개변수 공간 전역에서의 균일 수렴성을 기반으로 추정기의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 변분 근사에 의존하지 않고도 랜덤 그래프 혼합 모델에 대해 일치하고 점근적으로 정규분포를 따르는 추정기를 구성할 수 있는가?
• RQ2 소속 모델에서 전체 네트워크 구조가 간선 및 삼중집합 통계량만으로 완전히 복원 가능한가?
• RQ3 의존적인 네트워크 모델에서 모멘트 방정식 또는 복합우도 기반 추정기의 이론적 성질—일치성과 수렴 속도—는 무엇인가?
• RQ4 이러한 추정기의 점근적 행동은 공식적인 이론적 검증이 없는 변분 EM 또는 MAP 절차와 비교해 어떻게 다를까?

주요 결과

• 제안된 모멘트 방정식과 복합우도 기반 추정기는 이진 및 가중치가 부여된 그래프 모두에 대해 일반적인 소속 모델 하에서 강한 일치성과 √n-수렴성을 보인다.
• 추정기의 점근적 분포는 정규분포이며, 제한 분산은 Godambe 정보 행렬의 역행렬로 주어지며, 이는 한계에서의 효율성을 확인한다.
• 네트워크 구조는 간선(차수 2)과 삼중집합(차수 3) 통계량으로 완전히 특징지워지며, 이는 고차수의 구조가 모형 식별에 새로운 정보를 추가하지 않음을 의미한다.
• 잠재된 그룹 소속으로 인해 전체 우도가 계산이 불가능한 상황에서도 추정기는 √n-일치성을 달성하며, 이는 분야 내 핵심적인 이론적 격차를 해결한다.
• 동일한 그룹 비율 조건 하에서는 수렴 속도가 1/n로 향상되어 대칭적인 설정에서 더 빠른 추정이 가능하다.
• 모의 데이터 및 실세계의 경제학 저널 간 교차인용 네트워크에서의 검증을 통해, 이전의 절차들과 비교해 뛰어난 성능을 보였다.