[논문 리뷰] Mixed membership stochastic blockmodels

Edoardo M. Airoldi, David M. Blei외 2명|arXiv (Cornell University)|2007. 05. 30.

Data Mining Algorithms and Applications참고 문헌 49인용 수 786

한 줄 요약

이 논문은 각 노드가 동시에 여러 잠재 그룹에 속할 수 있도록 기존의 스토케스틱 블록모델을 확장한 혼합 구성성 확률 모델인 혼합 구성성 스토케스틱 블록모델(MMSB)을 소개한다. 변분 추론 알고리즘을 사용하여 MMSB는 대규모 관계망에서 빠르고 확장 가능한 추론을 가능하게 하여 사회망 및 단백질 상호작용 네트워크에서 복합적인 역할을 잘 모델링하고, 다면적인 역할을 성공적으로 복원한다.

ABSTRACT

Observations consisting of measurements on relationships for pairs of objects arise in many settings, such as protein interaction and gene regulatory networks, collections of author-recipient email, and social networks. Analyzing such data with probabilisic models can be delicate because the simple exchangeability assumptions underlying many boilerplate models no longer hold. In this paper, we describe a latent variable model of such data called the mixed membership stochastic blockmodel. This model extends blockmodels for relational data to ones which capture mixed membership latent relational structure, thus providing an object-specific low-dimensional representation. We develop a general variational inference algorithm for fast approximate posterior inference. We explore applications to social and protein interaction networks.

연구 동기 및 목표

• 기존의 스토케스틱 블록모델이 단일 그룹 구성성만 허용해 관계 데이터의 다면적인 역할을 포착하지 못하는 한계를 해결하기 위해.
• 각 노드가 여러 잠재 그룹에 속할 수 있도록 하는 유연하고 확장 가능한 모델을 개발하여, 상호작용의 실제 세계적 복잡성을 반영하기 위해.
• 고차원 설정에서 MCMC의 계산 부담을 극복하기 위해 변분 추론 알고리즘을 통해 대규모 네트워크에서 빠른 근사 추론을 가능하게 하기 위해.
• 실제 사회망 및 단백질 상호작용 네트워크에서 잠재 그룹 구조를 밝혀내는 데 모델의 효과성을 입증하기 위해.
• 사회망 및 시스템 생물학 등 다양한 분야에 적용 가능한 관계 데이터의 혼합 구성성을 모델링하기 위한 일반적인 프레임워크를 제공하기 위해.

제안 방법

• 각 노드의 잠재 그룹 구성성을 딜리클레 분포로 표현하는 생성 모델을 제안하여 혼합 구성성을 허용한다.
• 노드 p와 q 사이의 상호작용 확률을 이차형식으로 모델링한다: $\vec{\pi}_p^T B \vec{\pi}_q$, 여기서 $B$는 잠재 그룹 간 상호작용 확률을 담은 행렬이다.
• 잠재 구성성 및 그룹 상호작용 매개변수의 사후분포를 근사하기 위해 평균장 변분 추론 알고리즘을 적용한다.
• 병렬 처리가 가능한 내재된 변분 추론 체계를 사용하여 대규모 네트워크에서 효율적인 계산을 가능하게 한다.
• 해석 가능성 유지 및 예측 및 노이즈 제거 지원을 위해 상호작용 전용 잠재 변수 $ (\vec{z}_{p\rightarrow q}, \vec{z}_{p\leftarrow q}) $ 를 도입한다.
• 계층적 딜리클레 과정을 통해 비모수적 확장을 가능하게 하여 잠재 그룹의 수가 미리 정해지지 않고 무한일 수 있도록 한다.

실험 결과

연구 질문

• RQ1 노드가 여러 그룹에 동시에 속할 수 있는 잠재 변수 모델이 단일 구성성 모델보다 관계망의 복잡하고 다면적인 역할을 더 잘 포착할 수 있는가?
• RQ2 정확한 베이지안 추론이 계산적으로 불가능한 상황에서, 이러한 모델에 대해 대규모 실세계 네트워크에서 어떻게 확장 가능한 추론을 달성할 수 있는가?
• RQ3 MMSB 모델이 수도원 내 파벌이나 단백질 복합체와 같은 알려진 구조적 패턴을 어느 정도 정확히 복원할 수 있는가?
• RQ4 예를 들어 유전자-기능적 맥락 매핑과 같은 부분적인 사전 지식을 반영한 半-초기화 설정에서 구성성에 대한 영향은 어떠한가?
• RQ5 모델이 왜곡된 정도 분포와 허브를 포함한 현실적인 구조적 특성을 띤 네트워크를 생성할 수 있는가, 아니면 이러한 특성가 기본적으로 제한되어 있는가?

주요 결과

• MMSB 모델은 합성 네트워크와 실제 세계의 네트워크, 특히 잘 정의된 블록 구조를 가진 학생 친구 관계 네트워크에서 혼합 구성성과 잠재적 블록 구조를 성공적으로 복원한다.
• 모델은 단백질 상호작용 네트워크에서 의미 있는 잠재 역할을 식별하여, 알려진 생물학적 복합체와 일치하는 기능적 군집을 드러낸다.
• 변분 추론 알고리즘이 대규모 네트워크에서 빠르고 확장 가능한 추론을 가능하게 하여, 실세계 응용에 실용적인 모델이 되게 한다.
• 단일 구성성 블록모델보다 다면적인 역할을 포착할 수 있어, 단일 기능 맥락 외에도 여러 기능 맥락에 참여하는 단백질과 같은 사례에서 뛰어난 성능을 보인다.
• 상호작용 전용 구성성 변수의 사후분포는 예측, 노이즈 제거 및 구성성의 생물학적 의미 있는 변화 식별에 유용한 해석 가능한 정보를 담고 있다.
• 모델은 허브나 매우 왜곡된 정도 분포를 가진 네트워크 생성에 한계를 보이며, 이러한 설정에서는 모델의 확장이 필요하다는 점을 시사한다.