[논문 리뷰] An Infinite Latent Attribute Model for Network Data

Konstantina Palla, David A. Knowles외 1명|arXiv (Cornell University)|2012. 06. 27.

Data Management and Algorithms참고 문헌 19인용 수 58

한 줄 요약

이 논문은 네트워크 데이터에 대한 계층적 무한 잠재 특성 모델을 제안하며, 두 계층의 계층적 구조를 통해 복잡한 관계 구조를 포착한다: 노드는 잠재 특성에 할당되며, 각 특성은 상호배타적인 하위클러스터로 분할된다. 이 모델은 링크 예측 작업에서 평탄한 클러스터링 모델보다 뛰어난 성능을 보이며, 단일 계층의 계층적 모델이 실제 세계의 네트워크를 과도하게 단순화한다는 것을 입증한다.

ABSTRACT

Latent variable models for network data extract a summary of the relational structure underlying an observed network. The simplest possible models subdivide nodes of the network into clusters; the probability of a link between any two nodes then depends only on their cluster assignment. Currently available models can be classified by whether clusters are disjoint or are allowed to overlap. These models can explain a "flat" clustering structure. Hierarchical Bayesian models provide a natural approach to capture more complex dependencies. We propose a model in which objects are characterised by a latent feature vector. Each feature is itself partitioned into disjoint groups (subclusters), corresponding to a second layer of hierarchy. In experimental comparisons, the model achieves significantly improved predictive performance on social and biological link prediction tasks. The results indicate that models with a single layer hierarchy over-simplify real networks.

연구 동기 및 목표

• 기존의 평탄한 클러스터링 모델이 복잡한 네트워크 구조를 포착하는 데 한계가 있음을 해결하기 위해.
• 두 계층의 잠재 특성 계층을 통해 네트워크 데이터의 겹치는 것과 계층적인 의존성을 모델링하기 위해.
• 베이지안 비모수적 접근을 사용하여 특성 및 하위클러스터의 수에 대한 비모수적 추론을 가능하게 하기 위해.
• 사회적 및 생물학적 네트워크 링크 예측 작업에서 예측 성능을 향상시키기 위해.
• 단일 계층의 계층적 모델이 실제 세계의 네트워크 의존성을 과도하게 단순화한다는 것을 입증하기 위해.

제안 방법

• 각 노드가 잠재 특성 벡터와 연결되는 계층적 베이지안 비모수적 모델을 사용한다.
• 각 특성은 상호배타적인 하위클러스터로 분할되어 두 번째 계층의 클러스터링 구조를 도입한다.
• 무한한 수의 특성과 하위클러스터를 允가하는 중국 식당 프로세스(CRP) 사전분포를 사용한다.
• 각 특성 내 하위클러스터의 분포를 모델링하기 위해 스틱 브레이킹 과정을 적용한다.
• 특성 할당과 하위클러스터 소속 관계를 함께 추론하기 위해 깁스 샘플링 추론 알고리즘을 사용한다.
• 링크 확률을 공유된 특성과 하위클러스터의 함수로 모델링하여 민첩한 관계 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 두 계층의 클러스터링을 가진 계층적 잠재 특성 모델이 평탄한 클러스터링 모델보다 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 특성 내 하위클러스터의 포함이 단일 계층 모델보다 더 세밀한 네트워크 의존성을 포착할 수 있는가?
• RQ3 모델의 비모수적 성격이 사전 지정 없이 진정한 특성 수와 하위클러스터 수를 자동으로 추론하는 데 효과적인가?
• RQ4 기존의 접근 방식과 비교해 실제 사회적 및 생물학적 네트워크에서 모델의 성능은 어떠한가?
• RQ5 단일 계층의 계층적 모델이 실제 네트워크의 구조를 얼마나 과도하게 단순화하는가?

주요 결과

• 제안된 모델은 기존의 모델들과 비교해 사회적 및 생물학적 네트워크 링크 예측 작업에서 유의미하게 향상된 예측 성능을 달성한다.
• 특성 내 하위클러스터를 포함한 계층적 구조는 평탄한 클러스터링 모델보다 더 복잡한 의존성을 포착한다.
• 모델의 비모수적 성격 덕분에 수동 조정 없이도 적절한 특성 수와 하위클러스터 수를 자동으로 추론할 수 있다.
• 실험 결과에 따르면 단일 계층의 계층적 모델이 실제 네트워크의 구조를 과도하게 단순화한다는 점이 확인되어 더 깊은 계층의 필요성을 뒷받침한다.
• 중국 식당 프로세스와 스틱 브레이킹 사전분포의 사용은 무한한 특성 및 하위클러스터 공간에 대한 민첩하고 확장 가능한 추론을 가능하게 한다.
• 모델은 사회적 및 생물학적 네트워크를 포함한 다양한 네트워크 유형에서 강건성과 일반화 능력을 보여준다.