[논문 리뷰] Bayesian approach to clustering real value, categorical and network data: solution via variational methods

Alexei Vázquez|ArXiv.org|2008. 05. 17.

Bayesian Methods and Mixture Models참고 문헌 6인용 수 3

한 줄 요약

이 논문은 대칭 기반 사전 분포를 사용하여 은닉된 군집 구조를 모델링함으로써 실수형, 범주형, 네트워크 데이터를 군집화하기 위한 변분 베이지안 프레임워크를 제안한다. 자기 일관성 있는 변분 베이지안 알고리즘을 유도하여 모델 복잡도를 내재적으로 페널티 처리함으로써, AIC나 BIC와 같은 외부 기준이 없이도 최대우도 방법보다 군집과 그래프 모듈을 더 잘 식별한다.

ABSTRACT

Data clustering, including problems such as finding network communities, can be put into a systematic framework by means of a Bayesian approach. The application of Bayesian approaches to real problems can be, however, quite challenging. In most cases the solution is explored via Monte Carlo sampling or variational methods. Here we work further on the application of variational methods to clustering problems. We introduce generative models based on a hidden group structure and prior distributions. We extend previous attends by Jaynes, and derive the prior distributions based on symmetry arguments. As a case study we address the problems of two-sides clustering real value data and clustering data represented by a hypergraph or bipartite graph. From the variational calculations, and depending on the starting statistical model for the data, we derive a variational Bayes algorithm, a generalized version of the expectation maximization algorithm with a built in penalization for model complexity or bias. We demonstrate the good performance of the variational Bayes algorithm using test examples.

연구 동기 및 목표

• 실수형, 범주형, 네트워크 구조 데이터를 포함한 다양한 데이터 유형에 대한 통합 베이지안 프레임워크를 개발하는 것.
• 군집화에서의 모델 선택 과제를 해결하기 위해 모델 복잡도 페널티를 추론 과정에 직접 통합하는 것.
• 자기 일관성 있는 사전 분포를 유도하기 위해 제이نز의 최대 엔트로피 원리의 일반화를 통해 대칭 원리에 기반한 비정보성 사전 분포를 도출하는 것.
• 불리안 데이터의 이중 군집 문제를 초그래프 및 이분 그래프 모델로 매핑하여 복잡한 네트워크에서의 모듈 탐지에 적합한 추론을 가능하게 하는 것.
• 변분 베이지안 알고리즘이 외부 모델 선택 기준 없이도 안정적이고 자기 일관성 있는 군집 결과를 제공하는지 보여주는 것.

제안 방법

• 군집화를 위해 표본 수준와/또는 변수 수준에서 은닉된 군집 구조를 가진 생성 모델을 수립한다.
• 대칭 논증을 사용하여 비정보성 사전 분포를 도출하며, 위치-스케일 가족에 대한 제이نز의 사전 분포를 수정하고 다항분포 모델로 일반화한다.
• 모델 파라미터와 군집 할당에 대한 복잡한 사후 분포를 근사하기 위해 평균장 변분 근사법을 적용한다.
• EM와 유사한 자기 일관성 있는 변분 베이지안 방정식 세트를 도출하며, 모델 편향에 대한 내재된 페널티를 포함한다.
• 이중 군집 문제를 불리안 데이터에 대해 초그래프 및 이분 그래프 모델로 매핑하여 복잡한 네트워크에서의 모듈 탐지가 가능하도록 한다.
• 유도된 VB 알고리즘을 사용하여 적합도와 복잡도의 균형을 이루는 재귀 최적화를 통해 군집 소속과 모델 파라미터를 추론한다.

실험 결과

연구 질문

• RQ1 실수형, 범주형, 네트워크 데이터를 변분 추론을 통해 체계적으로 군집화하기 위한 베이지안 접근법은 어떻게 적용될 수 있는가?
• RQ2 위치-스케일 가족과 다항분포 가능도를 갖는 혼합 모델에 대해 대칭 원리에 기반한 올바른 비정보성 사전 분포는 무엇이며, 어떻게 도출되는가?
• RQ3 변분 베이지안 알고리즘이 AIC나 BIC와 같은 외부 기준 없이도 적합도와 복잡도를 자동으로 균형 잡는가?
• RQ4 불리안 데이터의 이중 군집 문제는 초그래프 또는 이분 그래프 생성 모델을 통해 효과적으로 모델링되고 해결될 수 있는가?
• RQ5 제안된 방법이 그래프 모듈 탐지에서 최대우도 방법에 비해 얼마나 우수한가, 특히 안정성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 변분 베이지안 알고리즘은 평균 제곱편차(적합도)와 역군집 크기(복잡도 페널티)의 균형을 통해 실수형 데이터에서 군집을 성공적으로 식별한다.
• 이 방법은 위치-스케일 가족에 대한 제이نز의 사전 분포를 수정하고 다항분포 모델로 일반화하여 적절한 비정보성 사전 분포를 보장한다.
• 불리안 데이터의 경우, 이중 군집 문제는 초그래프 및 이분 그래프 모델로 매핑되어 변분 추론을 통해 모듈 탐지가 가능해진다.
• VB 알고리즘은 자기 일관성 있는 모델 복잡도 보정을 통합함으로써 최대우도 방법보다 그래프 모듈 탐지에서 뛰어난 성능을 보인다.
• 군집 간 차이가 뚜렷한 데이터에서 알고리즘이 안정적이고 정확한 군집 결과를 도출하며, 테스트 예제에서 강건성을 입증한다.
• 이 프레임워크는 다양한 데이터 유형과 군집 정의(예: 위상 유사성, 엣지 밀도 기반 커뮤니티)에 유연하게 적용 가능하다.