[논문 리뷰] Finite mixture models are typically inconsistent for the number of components

Diana Cai, Trevor Campbell외 1명|arXiv (Cornell University)|2020. 07. 08.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 3

한 줄 요약

이 논문은 성분 수에 대한 사전분포를 가진 유한 혼합 모델(FMMs)이 심지어 미미한 모형 불일치가 있을 경우 성분 수 추정에서 초초엄한 불일치를 보임을 보여준다: 데이터가 무한히 증가함에 따라 진짜 성분 수가 맞을 조건부 확률이 0으로 수렴한다. 저자들은 이 불일치를 엄밀히 증명하고 시뮬레이션 및 실제 데이터를 통해 그 실용적 결과를 제시하며, 모형 선택에 있어 일반적으로 받아들여지는 가정을 도전한다.

ABSTRACT

Scientists and engineers are often interested in learning the number of subpopulations (or components) present in a data set. Practitioners commonly use a Dirichlet process mixture model (DPMM) for this purpose; in particular, they count the number of clusters---i.e. components containing at least one data point---in the DPMM posterior. But Miller and Harrison (2013) warn that the DPMM cluster-count posterior is severely inconsistent for the number of latent components when the data are truly generated from a finite mixture; that is, the cluster-count posterior probability on the true generating number of components goes to zero in the limit of infinite data. A potential alternative is to use a finite mixture model (FMM) with a prior on the number of components. Past work has shown the resulting FMM component-count posterior is consistent. But existing results crucially depend on the assumption that the component likelihoods are perfectly specified. In practice, this assumption is unrealistic, and empirical evidence (Miller and Dunson, 2019) suggests that the FMM posterior on the number of components is sensitive to the likelihood choice. In this paper, we add rigor to data-analysis folk wisdom by proving that under even the slightest model misspecification, the FMM posterior on the number of components is ultraseverely inconsistent: for any finite $k \in \mathbb{N}$, the posterior probability that the number of components is $k$ converges to 0 in the limit of infinite data. We illustrate practical consequences of our theory on simulated and real data sets.

연구 동기 및 목표

• 성분 밀도가 약간이라도 잘못 지정된 경우 유한 혼합 모델(FMMs)이 진짜 성분 수를 추정할 때 일관성 있는지 조사하기.
• 실제 응용에서 성분 수에 대한 사전분포를 가진 FMMs가 모형 선택에 신뢰할 수 있다는 일반적인 가정을 도전하기.
• FMM의 사후분포가 진짜 성분 수에 집중하지 않는 이론적 조건을 규명하기.
• 불일치가 이론적 흥미거리가 아니라 실용적 문제임을 시뮬레이션 및 실제 데이터 사례를 통해 보여주기.

제안 방법

• 저자들은 모형 불일치 하에서 FMM의 성분 수에 대한 사후분포의 渐近적 행동을 분석한다.
• 대표본의 渐近적 성질과 체적 집중 이론을 기반으로 한 이론적 프레임워크를 사용하여, 표본 크기가 증가함에 따라 진짜 성분 수의 사후 확률이 사라짐을 보인다.
• 분석은 성분 밀도가 심지어 임의로 작은 양으로도 정확히 지정되지 않은 경우에 집중한다.
• 핵심 결과는 진짜 성분 밀도와 가정된 성분 밀도 사이의 쿨백-라이블러 발산에 대한 경계를 사용하여 유도된다.
• 모든 유한한 k ∈ ℕ에 대해, 모형 불일치 하에서 n → ∞ 일 때 P(k 성분 | 자료) → 0 이다.
• 이론적 결과는 시뮬레이션과 실제 데이터 예시를 통해 실용적 영향을 보여주는 보완적 분석을 포함한다.

실험 결과

연구 질문

• RQ1 성분 밀도가 약간이라도 잘못 지정된 경우, 유한 혼합 모델의 성분 수에 대한 사후분포는 일관성 있는가?
• RQ2 모형 불일치 하에서 표본 크기가 증가함에 따라 진짜 성분 수의 사후 확률이 1로 수렴하는가?
• RQ3 모형 불일치는 성분 수 추정의 신뢰성에 어떤 영향을 미치는가?
• RQ4 최소한의 가정 하에 FMM의 성분 수 추정에서의 불일치를 정량화하고 엄밀히 증명할 수 있는가?
• RQ5 이 불일치는 실세계 데이터 분석에서 어떤 실용적 결과를 초래하는가?

주요 결과

• 모든 모형 불일치, 심지어 임의로 작은 불일치라도, 표본 크기가 무한히 증가함에 따라 진짜 성분 수일 조건부 확률이 0으로 수렴한다.
• 이 불일치는 약하거나 경미한 불일치가 아니라 '초초엄한' 불일치이며, 표본 크기에 관계없이 사후분포가 진짜 성분 수에 집중하지 않는다는 의미다.
• 이 결과는 모든 유한한 성분 수 k ∈ ℕ에 대해 성립하므로, 성분 수에 대한 사전분포를 가진 FMM을 모형 선택에 사용하는 데에는 근본적인 결함이 있음을 시사한다.
• 시뮬레이션과 실제 데이터 세트의 실증적 증거는 성분 수에 대한 사후분포가 밀도 선택에 매우 민감하며, 진짜 성분 수를 회복하지 못함을 확인한다.
• 이러한 발견은 성분 밀도가 완전히 알려져 있지 않은 경우 특히, FMM에 성분 수 사전분포를 사용하는 것의 광범위한 사용을 도전한다.
• 논문은 조건부 모형에서의 약간의 이탈조차도 성분 수의 사후 추정을 체계적으로 잘못된 방향으로 이끈다는 것을 입증한다.