[논문 리뷰] A simple example of Dirichlet process mixture inconsistency for the number of components

Jeffrey W. Miller, Matthew Tom Harrison|arXiv (Cornell University)|2013. 01. 12.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 86

한 줄 요약

이 논문은 유한 혼합모형에서 진짜 성분 수를 추정하는 데 있어 디리클레 과정 혼합(DPMs)이 심각한 비일致성(consistency)을 보임을 보여준다. 가장 단순한 경우조차도, 즉 단일 표준 정규 성분에서 생성된 데이터에 대해 단위 분산 정규 성분을 가진 DPM을 적용할 때조차도 그렇다. 표본 크기가 증가함에 따라 데이터가 오직 한 군집일 가능성에 대한 사후 확률은 0으로 수렴하며, 이는 성분 수 추론에 있어 심각한 비일치성을 드러낸다.

ABSTRACT

For data assumed to come from a finite mixture with an unknown number of components, it has become common to use Dirichlet process mixtures (DPMs) not only for density estimation, but also for inferences about the number of components. The typical approach is to use the posterior distribution on the number of components occurring so far --- that is, the posterior on the number of clusters in the observed data. However, it turns out that this posterior is not consistent --- it does not converge to the true number of components. In this note, we give an elementary demonstration of this inconsistency in what is perhaps the simplest possible setting: a DPM with normal components of unit variance, applied to data from a "mixture" with one standard normal component. Further, we find that this example exhibits severe inconsistency: instead of going to 1, the posterior probability that there is one cluster goes to 0.

연구 동기 및 목표

• 디리클레 과정 혼합(DPMs)이 유한 혼합모형에서 성분 수를 추정하는 데 비일치적임을 보이는 것.
• 이 비일치성이 가장 단순한 상황에서도 발생함을 보여주는 것: 단일 표준 정규 성분에서 생성된 데이터에 대해 단위 분산 정규 성분을 가진 DPM을 적용할 때이다.
• 표본 크기가 증가함에 따라 진짜 성분 수가 1임에도 불구하고, 한 군집일 가능성에 대한 사후 확률이 0으로 수렴함을 증명하는 것.
• 유한 혼합모형에서 성분 수 추론에 DPM 사후분포에 의존하는 것의 위험성을 부각하는 것.

제안 방법

• 농도 매개수 α=1인 표준 정규 DPM을 사용하며, 성분 평균에 대해 정규 기저 측도를 적용하고 분산은 고정된 단위 분산으로 설정한다.
• 중국식 레스토랑 과정(CRP)을 이용해 분할 확률을 기반으로 정확히 t개의 군집이 존재할 확률, p(Tₙ = t | X₁:n)을 정의한다.
• 한 군집 모형과 두 군집 모형의 정규화된 마진형 우도 비율 R₁과 R₂를 도입하여 각 모형의 우도를 비교한다.
• U-통계량에 대한 허프딩의 강한 법칙을 적용하여 R₂(X₁:n) → ∞ 확률적으로 수렴함을 보이며, R₁(X₁:n)은 확률적으로 유계로 유지됨을 보인다.
• p(Tₙ = 1 | X₁:n) ≤ R₁ / R₂ → 0 확률적으로 수렴함을 증명함으로써 비일치성을 입증한다.
• E[h(Xₛ)] = 1 이라는 사실과 조화 평균의 점근적 행동을 이용해 R₂의 성장률을 유계로 제어하고 R₁을 제어한다.

실험 결과

연구 질문

• RQ1 유한 혼합모형에서 데이터가 생성된 경우, 디리클레 과정 혼합의 군집 수에 대한 사후분포가 진짜 성분 수로 수렴하는가?
• RQ2 가장 단순한 경우 — 즉, 단일 표준 정규 성분에서 생성된 데이터에 대해 단위 분산 정규 성분을 가진 DPM을 적용할 때 — 한 군집일 가능성에 대한 사후 확률이 1로 수렴하는가?
• RQ3 실제로 데이터가 한 성분에서 유래된 경우, 표준 정규 DPM에서 한 군집일 가능성에 대한 사후 확률의 점근적 행동은 어떠한가?
• RQ4 성분 수 추정의 비일치성은 정량화될 수 있으며, 그 정도는 심각한가?
• RQ5 유한 혼합모형에서 성분 수 추론에 DPM 사후분포를 사용하는 데 근본적인 결함이 있는가?

주요 결과

• 표본 크기 n → ∞ 일 때, 데이터가 단일 정규 성분에서 유래되었음에도 불구하고, 군집 수가 1일 가능성에 대한 사후 확률 p(Tₙ = 1 | X₁:n)은 확률적으로 0으로 수렴한다.
• 비율 R₂(X₁:n) = n³/² × p(X₁:n, Tₙ=2) / p₀(X₁:n)는 거의 확실하게 무한대로 발산하며, 이는 두 군집에 대한 강력한 지지 근거를 의미한다.
• 비율 R₁(X₁:n) = n³/² × p(X₁:n, Tₙ=1) / p₀(X₁:n)는 확률적으로 유계(Oₚ(1))이며, n과 함께 증가하지 않는다.
• 비율 R₁ / R₂ → 0 확률적으로 수렴하며, 이는 한 군집에 대한 사후 오즈가 점차적으로 사라짐을 의미한다.
• 비일치성은 심각하다: 올바른 성분 수(1)에 대한 사후 확률이 1로 수렴하는 대신 0으로 수렴한다.
• 결과는 α = 1 뿐만 아니라 임의의 α > 0에 대해서도 성립하므로, DPM이 성분 수 추론에 있어 일반적으로 불안정함을 시사한다.