[논문 리뷰] Distance Dependent Chinese Restaurant Processes

David M. Blei, Peter I. Frazier|arXiv (Cornell University)|2009. 10. 06.

Bayesian Methods and Mixture Models참고 문헌 36인용 수 49

한 줄 요약

이 논문은 쌍별 거리에 따라 데이터 포인트 간 의존성을 모델링하는 비교환형 베이지안 비모수적 사전 분포인 거리 의존적 중화음식점 과정(ddCRP)을 소개한다. 고객-고객 할당 방식으로 CRP를 재정의함으로써, 잠재적 및 완전 관측 혼합 모델 모두에서 더 빠른 믹싱을 가능하게 하며, 특히 순차적 및 공간 데이터에서 성능 향상을 이룬다.

ABSTRACT

We develop the distance dependent Chinese restaurant process (CRP), a flexible class of distributions over partitions that allows for non-exchangeability. This class can be used to model many kinds of dependencies between data in infinite clustering models, including dependencies across time or space. We examine the properties of the distance dependent CRP, discuss its connections to Bayesian nonparametric mixture models, and derive a Gibbs sampler for both observed and mixture settings. We study its performance with three text corpora. We show that relaxing the assumption of exchangeability with distance dependent CRPs can provide a better fit to sequential data. We also show its alternative formulation of the traditional CRP leads to a faster-mixing Gibbs sampling algorithm than the one based on the original formulation.

연구 동기 및 목표

• 기존 중화음식점 과정(CRP)이 시간 시리즈나 공간 데이터와 같은 비교교환성 없는 데이터를 모델링하는 데 한계를 보이는 문제를 해결하기 위해.
• 데이터 포인트 간 구조적 의존성을 포함하는 융통성 있고 거리 의존적인 분할에 대한 사전 분포를 개발하기 위해.
• 효율적인 사후 추론을 위한 일반 목적의 게브스 샘플러를 고객 할당 표현 기반으로 유도하기 위해.
• ddCRP 설정이 표준 DP 혼합 모델에 대한 병합된 게브스 샘플러에 비해 더 빠른 믹싱을 유도하는지 보여주기 위해.
• 비교교환성 가정을 완화함으로써 순차적 및 네트워크 기반 데이터에 대한 피팅 성능을 실증적으로 향상시키기 위해.

제안 방법

• 각 데이터 포인트(고객)가 그들 사이의 거리에 따라 의존하는 확률로 다른 데이터 포인트에 할당되는, CRP의 고객 기반 표현을 제안한다.
• 쌍별 거리에 대한 감쇠 함수를 사용해 거리 의존적 고객 할당 확률을 정의하며, 감쇠 함수가 일정할 경우 표준 CRP가 특수 케이스로 일반화된다.
• 각 고객의 할당을 반복적으로 재표본 추출함으로써 클러스터 구성원을 업데이트하는 게브스 샘플러를 유도한다.
• 고객 할당에서 테이블 할당(분할)을 재구성함으로써, 기반 클러스터링 구조에 대한 추론을 가능하게 한다.
• 기저 조건을 효율적인 계산을 위해 공액 기반 조건으로 선택하여 텍스트 코퍼스에 대해 CRP 혼합 모델을 적용한다.
• 각 게브스 단계에서 고객 할당을 통한 점 집합의 추가/제거에 따른 가능도 변화를 평가하는 계산 전략을 활용하며, 표준 병합 샘플러와 동일한 계산 복잡도를 유지한다.

실험 결과

연구 질문

• RQ1 시간, 공간, 또는 네트워크 기반 의존성을 데이터 포인트 간에 포함하는 비교교환성 없는 분할에 대한 사전 분포를 구성할 수 있는가?
• RQ2 ddCRP의 고객 할당 표현 방식이 기존 테이블 기반 CRP 표현 방식에 비해 더 효율적인 사후 추론을 어떻게 가능하게 하는가?
• RQ3 ddCRP 설정이 순차적 또는 구조적 데이터에 적용되었을 때 MCMC 샘플러의 믹싱 속도를 빠르게 하는가?
• RQ4 ddCRP 설정이 감쇠 함수가 항등함수일 경우 기존 CRP를 특수 케이스로 회복할 수 있으며, 이 경우 동일한 사후 분포를 유지하는가?
• RQ5 실제 텍스트 코퍼스에서 ddCRP 기반 게브스 샘플러의 수렴성과 믹싱 성능이 표준 병합 게브스 샘플러에 비해 어떻게 다른가?

주요 결과

• 거리 의존적 CRP는 시간, 공간, 또는 네트워크 구조 기반의 데이터 의존성을 성공적으로 모델링하여 비교교환성 없는 데이터에 대해 더 현실적인 사전 분포를 제공한다.
• 감쇠 함수가 일정할 경우 ddCRP 설정은 기존 CRP를 회복하여 기존 모델과의 일관성을 확보한다.
• 고객 할당 기반 게브스 샘플러는 한 번의 단계에서 여러 점의 클러스터 할당을 동시에 변경할 수 있어 더 큰 상태 공간 이동을 가능하게 하며, 이로 인해 믹싱 속도가 향상된다.
• 사이언스 및 뉴욕타임스 텍스트 코퍼스에 대한 실증 결과는 ddCRP 기반 샘플러가 표준 병합 게브스 샘플러보다 수렴 속도가 더 빠르고 국소 최적점에 갇히는 경향이 적다는 것을 보여준다.
• 단일 반복의 계산 복잡도는 동일하지만, ddCRP 샘플러는 상태 공간에서 더 큰 효과적인 이동을 가능하게 하여 더 나은 사후 탐색 성능을 달성한다.
• 기존 CRP 혼합 모델의 ddCRP 표현은 더 빠른 믹싱을 유도하는 게브스 샘플러를 제공하며, DP 혼합 모델에 실용적인 성능 향상을 이룬다.