[논문 리뷰] Generalized linear models with low rank effects for network data

Yun-Jhong Wu, Elizaveta Levina외 1명|arXiv (Cornell University)|2017. 05. 18.

Complex Network Analysis Techniques참고 문헌 27인용 수 10

한 줄 요약

이 논문은 이원, 가중, 방향성, 무방향 네트워크를 포함한 네트워크 데이터에 대해 저랭크 효과를 갖는 일반화된 선형 모형을 제안하며, 간선 발생 확률을 효율적으로 추정한다. 노드 및 간선 공변수를 통합하면서도 MCMC 기반 대안들에 비해 일致된 추정과 뛰어난 확장성을 달성하기 위해 투영된 경사상승 알고리즘을 사용한다. 실제 네트워크인 Last.fm과 C. elegans에서 기존 모형을 능가하는 링크 예측 성능을 보였다.

ABSTRACT

Networks are a useful representation for data on connections between units of interests, but the observed connections are often noisy and/or include missing values. One common approach to network analysis is to treat the network as a realization from a random graph model, and estimate the underlying edge probability matrix, which is sometimes referred to as network denoising. Here we propose a generalized linear model with low rank effects to model network edges. This model can be applied to various types of networks, including directed and undirected, binary and weighted, and it can naturally utilize additional information such as node and/or edge covariates. We develop an efficient projected gradient ascent algorithm to fit the model, establish asymptotic consistency, and demonstrate empirical performance of the method on both simulated and real networks.

연구 동기 및 목표

• 이원, 가중, 방향성, 무방향 네트워크를 모두 수용할 수 있는 융통성 있고 확장 가능한 네트워크 간선 예측 모델을 개발하기 위해.
• 계산 효율성을 유지하면서도 노드 및 간선 공변수를 네트워크 모델링에 통합하기 위해.
• MCMC 기반 잠재 공간 모형의 확장성 한계를 극복하기 위해 새로운 최적화 프레임워크를 제안하기 위해.
• 미세한 조건 하에서 점근적 일致성과 시뮬레이션 및 실제 네트워크 데이터에서의 경험적 성능을 입증하기 위해.
• 대칭성 또는 정부정행렬 조건을 요구하지 않는 기존 잠재 공간 모형을 일반화하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 모델은 두 개의 저차원 잠재 요인 행렬의 곱으로 표현되는 저랭크 행렬 구조를 사용하여 노드 간의 쌍별 영향을 나타낸다.
• 기대 간선 발생 확률을 일반화된 선형 모형(GLM)으로 설정하며, 정규 링크 함수를 사용하고 공변수 및 저랭크 효과를 모두 포함한다.
• 핵노름 및 랭크 제약 조건 하에서 로그우도를 최적화하기 위해 효율적인 투영된 경사상승 알고리즘을 개발하였다.
• 잠재 요인과 회귀 계수를 번갈아가며 갱신하며, 저랭크 구조를 유지하기 위해 핵노름 구에 투영한다.
• 이 방법은 무방향 및 방향성 네트워크 모두를 지원하며, 정수 가중치 네트워크 및 이원 네트워크로 자연스럽게 확장된다.
• 진짜 저랭크 행렬의 유계성과 디자인의 흩어진 성질을 포함한 온건한 규칙성 조건 하에서 이론적으로 일치성이 입증되었다.

실험 결과

연구 질문

• RQ1 저랭크 GLM 프레임워크는 공변수를 통합하면서도 이원, 가중, 방향성, 무방향 네트워크와 같은 다양한 네트워크 유형을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 투영된 경사상승 알고리즘은 MCMC 기반 잠재 공간 모형에 비해 성능 및 확장성 측면에서 어떻게 비교되는가?
• RQ3 저랭크 효과는 Last.fm 및 C. elegans와 같은 실제 네트워크에서 링크 예측 정확도를 얼마나 향상시키는가?
• RQ4 랭크 $ r $ 및 핵노름 제약 $ R $ 와 같은 조정 파rameter에 대한 추정치는 얼마나 민감한가?
• RQ5 대칭성 또는 정부정행렬 조건을 요구하지 않는 일반적인 저랭크 구조 하에서도 추정이 일관되게 이루어질 수 있는가?

주요 결과

• C. elegans 신경망에서 랭크 $ r = 26 $ 및 핵노름 $ R = 85 $ 일 때, 제안된 모형은 매우 계산 비용이 높은 MCMC 기반 기준 모형과 동일한 예측 AUC 0.824를 달성하였다.
• Last.fm 데이터셋에서 $ \widehat{\beta}_{\mathrm{lis}} $ 와 $ \widehat{\beta}_{\mathrm{tag}} $ 는 모두 양수였으며, 강한 유사성 효과를 나타내었고, 다양한 $ r $ 와 $ R $ 값에서 추정치가 안정적이었다.
• 대규모 네트워크에서 잠재 요인 모형(amen 패키지)에 비해 계산 효율성이 뛰어났으며, $ n = 2000 $ 인 데이터셋에서는 후자가 수렴하지 못했다.
• 노드 수 $ n $ 를 200에서 2000으로 증가시킬 때 계산 비용은 제안된 방법은 약 40배 증가한 반면, 잠재 요인 모형은 120배 증가하여 훨씬 뛰어난 확장성을 보였다.
• 핵노름 제약 $ R $ 가 감소함에 따라 회귀 계수 추정치는 0에 수렴하며, 더 강한 핵노름 제약 조건이 유도하는 편향을 반영한다.
• 특정 조건 하에서는 이 방법이 1비트 행렬 복원과 동일하지만, i.i.d. 누락성 가정을 초월하여 더 현실적인 실세계 네트워크에 적용 가능하게 일반화되었다.