[논문 리뷰] Detecting Latent Communities in Network Formation Models

Shujie Ma, Liangjun Su외 1명|Singapore Management University Institutional Knowledge (InK) (Singapore Management University)|2020. 05. 07.

Complex Network Analysis Techniques참고 문헌 72인용 수 7

한 줄 요약

이 논문은 잠재적 공동체 구조와 간선별 고정 효과를 갖는 로지스틱 무방향 네트워크 형성 모델을 제안하며, 핵노름 정규화, 샘플 분할, 반복 로지스틱 회귀, 스펙트럼 클러스터링을 조합한 다단계 절차를 사용하여 기대 차수(expected degree)가 log n 이상으로 증가할 경우 정확한 공동체 회복을 달성한다. 이 방법은 관측되지 않은 이질성 존재 하에서 공동체별 동질성 계수의 일致한 추정을 가능하게 한다.

ABSTRACT

This paper proposes a logistic undirected network formation model which allows for assortative matching on observed individual characteristics and the presence of edge-wise fixed effects. We model the coefficients of observed characteristics to have a latent community structure and the edge-wise fixed effects to be of low rank. We propose a multi-step estimation procedure involving nuclear norm regularization, sample splitting, iterative logistic regression and spectral clustering to detect the latent communities. We show that the latent communities can be exactly recovered when the expected degree of the network is of order log n or higher, where n is the number of nodes in the network. The finite sample performance of the new estimation and inference methods is illustrated through both simulated and real datasets.

연구 동기 및 목표

• 관측된 동질성, 관측되지 않은 간선별 고정 효과, 잠재적 공동체 구조를 고려한 네트워크 형성 모델링.
• 공동체 소속이 관측되지 않을 경우 잠재 공동체를 탐지하기 위한 일致한 추정 절차 개발.
• 관측되지 않은 이질성이 존재하는 상황에서 공동체별 동질성 계수에 대한 추론 가능화.
• 큰 네트워크에서 정확한 공동체 회복이 가능한 조건 설정.
• 공변수와 저랭크 고정 효과를 통합하면서 통계적 일관성을 보장하는 스토하스틱 블록 모델의 확장.

제안 방법

• 관측된 특성에 대한 회귀 계수들이 잠재 공동체에 따라 변하는 로지스틱 네트워크 형성 모델을 설정하며, 간선별 고정 효과는 저랭크이다.
• 핵노름 정규화를 적용하여 저랭크 계수 행렬을 추정하고, 초기 공동체 탐지에 위해 특이값 분해(SVD)를 활용한다.
• 의존성 하에서 단일 벡터 추정의 일관성을 확보하기 위해 샘플 분할을 시행하여 안정성 향상과 편향 감소를 도모한다.
• Frobenius 노름 일관성 이상의 단계에서 단일 벡터 추정치를 향상시키기 위해 반복적인 행 및 열 기반 로지스틱 회귀를 시행한다.
• 개선된 단일 벡터 추정치에 대해 K-평균 클러스터링을 적용하여 노드를 공동체에 할당한다.
• 고차원 최적화 문제를 효율적으로 해결하기 위해 핵노름 펜alties를 갖는 증강 라그랑주 승수(ALM) 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 관측된 동질성과 관측되지 않은 간선별 이질성이 동시에 존재할 경우, 네트워크 형성에서 잠재 공동체 구조를 일관되게 복원할 수 있는가?
• RQ2 잠재 공동체의 정확한 복원을 위해 필요한 최소 네트워크 희박성(기대 차수 기준)은 얼마인가?
• RQ3 로지스틱 네트워크 형성 프레임워크 내에서 저랭크 간선별 고정 효과는 어떻게 모델링하고 추정할 수 있는가?
• RQ4 단일 벡터 추정치의 반복적 정밀화는 표준 스펙트럼 클러스터링을 초월하여 공동체 탐지 정확도를 향상시킬 수 있는가?
• RQ5 공동체 복원 이후에 추정된 공동체별 회귀 계수의 점근적 분포는 무엇인가?

주요 결과

• 기대 차수가 log n 이상으로 발산할 경우, 잠재 공동체의 정확한 복원이 달성된다.
• 샘플 분할, 반복 정밀화, 핵노름 정규화를 포함한 제안된 다단계 절차는 공동체 탐지에서 강한 일관성을 보장한다.
• 네트워크와 설계 행렬에 대한 규칙성 조건 하에서 노드 수 n이 증가하더라도 공동체 구조를 성공적으로 회복한다.
• 추정된 공동체별 계수의 점근적 분포는 정규분포이며, 공동체 복원 이후 타당한 추론이 가능하다.
• 반복 정밀화 단계는 초기 SVD에 비해 유한 표본에서 단일 벡터 추정의 정확도를 크게 향상시킨다.
• 핵노름 페널티를 갖는 ALM 알고리즘은 고차원 최적화 문제를 효율적으로 해결하여 수치적 안정성과 수렴성을 보장한다.