[논문 리뷰] Gibbs Sampling for (Coupled) Infinite Mixture Models in the Stick Breaking Representation

Ian R. Porteous, Alexander Ihler외 2명|arXiv (Cornell University)|2012. 06. 27.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 6

한 줄 요약

이 논문은 스틱 브레이킹 표현을 사용한 무한 혼합 모델을 위한 향상된 게비스 샘플링 알고리즘을 제안하며, 독립형 및 결합된 모델 모두에서 레이블 혼합과 클러스터 대응성을 향상시킨다. 시간 또는 데이터 스트림 간에 클러스터 레이블을 재할당하기 위한 보조 이동을 도입함으로써, 더 나은 혼합과 더 일관된 클러스터링을 달성하였으며, 폭풍 경로 모델링에 적용하여 레이블 안정성과 대응 정확도가 향상됨을 입증하였다.

ABSTRACT

Nonparametric Bayesian approaches to clustering, information retrieval, language modeling and object recognition have recently shown great promise as a new paradigm for unsupervised data analysis. Most contributions have focused on the Dirichlet process mixture models or extensions thereof for which efficient Gibbs samplers exist. In this paper we explore Gibbs samplers for infinite complexity mixture models in the stick breaking representation. The advantage of this representation is improved modeling flexibility. For instance, one can design the prior distribution over cluster sizes or couple multiple infinite mixture models (e.g. over time) at the level of their parameters (i.e. the dependent Dirichlet process model). However, Gibbs samplers for infinite mixture models (as recently introduced in the statistics literature) seem to mix poorly over cluster labels. Among others issues, this can have the adverse effect that labels for the same cluster in coupled mixture models are mixed up. We introduce additional moves in these samplers to improve mixing over cluster labels and to bring clusters into correspondence. An application to modeling of storm trajectories is used to illustrate these ideas.

연구 동기 및 목표

• 스틱 브레이킹 표현을 사용한 무한 혼합 모델의 게비스 샘플러에서 클러스터 레이블의 열악한 혼합 문제를 해결하기 위해.
• 시간 또는 데이터 스트림 간에 클러스터 파라미터를 정렬함으로써 다수의 무한 혼합 모델을 효과적으로 결합할 수 있도록 하기 위해.
• 결합된 모델에서 클러스터 간 레이블 대응성을 향상시켜 성능 저하를 초래하는 오해소거를 줄이기 위해.
• 계산적 타당성을 훼손하지 않으면서 클러스터 레이블에 대한 혼합을 향상시키는 효율적인 샘플링 이동을 개발하기 위해.
• 특히 폭풍 경로와 같은 시간적 동적 특성을 갖는 실세계 데이터에 대한 모델링에서 방법의 효과성을 입증하기 위해.

제안 방법

• 클러스터 레이블 혼합을 향상시키기 위해 반복 간 혼합을 개선하는 보조 이동을 게비스 샘플링에 도입한다.
• 스틱 브레이킹 과정을 사용하여 무한 혼합 모델을 표현함으로써 클러스터 크기와 의존성에 대한 탄력적인 사전 분포를 허용한다.
• 집중도 및 기저 측도 수준에서 다중 무한 혼합 모델을 종속 딜레르트 프로세스 프레임워크를 통해 결합한다.
• 시간 포인트 간 후행 유사도 기반으로 재가중 또는 재할당을 통해 레이블 전환 보정을 구현한다.
• 클러스터 전용 파라미터를 통합하면서도 스틱 브레이킹 가중치를 통해 조건부 의존성을 유지하는 콜랩스드 게비스 샘플러를 사용한다.
• 시간적 또는 구조적 일관성을 강제하기 위해 다중 데이터 스트림 간 클러스터 파라미터에 공동 사전분포를 도입한다.

실험 결과

연구 질문

• RQ1 스틱 브레이킹 표현을 사용한 무한 혼합 모델의 게비스 샘플링은 어떻게 개선되어 클러스터 레이블에 대한 혼합을 향상시킬 수 있는가?
• RQ2 시간 또는 데이터 소스 간에 결합된 무한 혼합 모델의 클러스터 정체성을 효과적으로 정렬하기 위한 샘플링 이동은 무엇인가?
• RQ3 향상된 레이블 혼합은 비모수적 클러스터링에서 레이블 전환 아티팩트를 감소시키고 해석 가능성을 향상시킬 수 있는가?
• RQ4 제안된 방법은 수렴성과 클러스터 대응성 측면에서 표준 게비스 샘플러와 비교해 어떻게 다를까?
• RQ5 이 방법은 폭풍 경로와 같이 순차적 또는 시간에 따라 변화하는 데이터의 모델링에서 어느 정도 향상되는가?

주요 결과

• 제안된 샘플링 이동은 클러스터 레이블에 대한 혼합을 크게 향상시켜 레이블 전환 현상을 감소시키고 반복 간 레이블 안정성을 향상시켰다.
• 이 방법은 결합된 무한 혼합 모델 간 클러스터를 성공적으로 정렬하여 시간에 따라 더 일관되고 해석 가능한 클러스터 할당을 가능하게 하였다.
• 폭풍 경로 응용 사례에서 개선된 샘플러는 인접한 시간 단계 간 클러스터 간 대응성을 향상시켜 더 일관되고 의미 있는 클러스터 진화를 달성하였다.
• 표준 게비스 샘플러에 비해 더 빠른 수렴 속도와 더 낮은 클러스터 할당 추정치의 분산을 보였다.
• 스틱 브레이킹 표현은 클러스터 크기 분포의 탄력적 모델링과 공유된 기저 측도 및 종속된 집중도 파rameter를 통한 효과적인 결합을 가능하게 하였다.
• 실험 결과, 방법은 레이블 대응성과 혼합 성능를 크게 향상시키는 동안 계산 효율성을 유지하는 것으로 나타났다.