[논문 리뷰] Finite mixture models do not reliably learn the number of components

Diana Cai, Trevor Campbell외 1명|arXiv (Cornell University)|2020. 07. 08.

Bayesian Methods and Mixture Models참고 문헌 73인용 수 11

한 줄 요약

이 논문은 구성 요소 밀도가 약간이라도 잘못 지정된 경우 표준 구성 요소 수에 대한 사전을 사용하는 유한 혼합 모델(FMMs)이 진짜 구성 요소 수를 신뢰성 있게 추정하지 못함을 보여준다. 정규분포 및 기타 위치-척도 가족과 같은 온건한 현실적인 가정 하에서 구성 요소 분포가 성립할 경우, 데이터 크기가 증가함에 따라 어떤 유한한 구성 요소 수에 대한 사후 확률이 거의 확실히 0으로 수렴하게 되며, 이는 이상치 추론을 유도하지만 완벽한 모델 지정 조건 하에서는 사후 일致성이 유지됨을 의미한다.

ABSTRACT

Scientists and engineers are often interested in learning the number of subpopulations (or components) present in a data set. A common suggestion is to use a finite mixture model (FMM) with a prior on the number of components. Past work has shown the resulting FMM component-count posterior is consistent; that is, the posterior concentrates on the true, generating number of components. But consistency requires the assumption that the component likelihoods are perfectly specified, which is unrealistic in practice. In this paper, we add rigor to data-analysis folk wisdom by proving that under even the slightest model misspecification, the FMM component-count posterior diverges: the posterior probability of any particular finite number of components converges to 0 in the limit of infinite data. Contrary to intuition, posterior-density consistency is not sufficient to establish this result. We develop novel sufficient conditions that are more realistic and easily checkable than those common in the asymptotics literature. We illustrate practical consequences of our theory on simulated and real data.

연구 동기 및 목표

• 구성 요소 밀도가 잘못 지정된 경우 유한 혼합 모델(FMMs)이 진짜 구성 요소 수를 추정하는 데에 얼마나 신뢰할 수 있는지 조사하기.
• 사후 일치성이 모델가 완벽하게 지정된 경우에만 성립한다는 일반적인 가정이 모델가 잘못 지정된 경우에도 신뢰할 수 있는 추론을 암시한다는 것을 도전하기.
• FMMs가 임의로 작은 모델 오류가 있을 경우에도 구성 요소 수 추정에서 발산하는지를 보장하는 엄밀하고 점검 가능한 조건을 설정하기.
• 과대추정이 단지 히ュ리스틱적 문제일 뿐 아니라, 온건한 정규성 조건 하에서 수학적으로 보장되는 발산임을 보여주기.
• 실증적이고 이론적인 증거를 제공하여 구성 요소 수 사후 확률이 데이터 크기에 매우 민감하게 의존함을 보여주며, 이는 실무에서 재현 가능성에 악영향을 미침.

제안 방법

• 구성 요소 수에 대한 사전을 포함한 FMM 프레임워크를 정형화하고, 구성 요소 수에 대한 사후 분포의 渐近적 행동을 분석하기.
• 모델가 잘못 지정된 경우의 모델 행동 평가를 위해 혼합 식별성과 퇄도한 극한 조건에 기반한 새로운 이론적 프레임워크 도입.
• 강도 있는 수렴과 약한 수렴의 논증을 사용하여, 파라미터가 발산하는 구성 요소 분포(예: 무한한 분산 또는 평균) 시퀀스가 집중하지 않는 사후를 유도함을 보여주기.
• 온건하고 점검 가능한 가정(예: 절대 연속성, 혼합 식별성) 하에서, 데이터가 증가함에 따라 어떤 유한한 구성 요소 수에 대한 사후 확률이 거의 확실히 0으로 수렴함을 증명하기.
• 데이터에 의존하는 사전으로 결과를 확장하여, 사전이 데이터 크기에 적응하더라도 모델가 잘못 지정된 경우에도 발산이 계속됨을 보여주기.
• 일반적인 구성 요소 가족(예: 다변량 정규분포, 코시, 로지스틱)에 이 이론을 적용하고, 이론적 보조정리와 명제를 통해 적용 가능성을 검증하기.

실험 결과

연구 질문

• RQ1 구성 요소 밀도가 약간이라도 잘못 지정된 경우, 유한 혼합 모델의 구성 요소 수에 대한 사후 분포가 진짜 수로 수렴하는가?
• RQ2 완벽한 모델 지정 조건 하에서 사후 일치성이 성립하더라도, 이는 모델가 잘못 지정된 경우에도 신뢰할 수 있는 추론을 암시하는가?
• RQ3 구성 요소 분포에 대해 어떤 최소한의 점검 가능한 조건이 모델가 잘못 지정된 경우에도 구성 요소 수 사후가 발산하도록 보장하는가?
• RQ4 모델가 잘못 지정된 경우 데이터 크기가 증가함에 따라 FMM의 사후 행동은 어떻게 변화하는가? 특히 구성 요소 과대추정 측면에서 어떻게 변화하는가?
• RQ5 데이터에 의존하는 사전은 구성 요소 수 추정의 발산 문제를 어느 정도 완화하거나 해결할 수 있는가?

주요 결과

• 최소한의 모델 오류가 있을 경우, 어떤 유한한 구성 요소 수에 대한 사후 확률이 데이터 크기가 증가함에 따라 거의 확실히 0으로 수렴한다.
• 이러한 발산은 단변량 및 다변량 정규분포를 포함한 광범위한 FMM 클래스에서 발생하며, 온건하고 점검 가능한 가정 하에서 성립한다.
• 완벽한 모델 지정 조건 하에서의 사후 일치성은 모델가 잘못 지정된 경우에도 안정적인 추론을 보장하지 못하므로, 표준 FMM의 실용적 유용성을 훼손한다.
• 실제 및 시뮬레이션 데이터에 대한 실증 결과는 더 많은 데이터를 관측할수록 구성 요소 수 사후가 증가하는 값에 집중함을 보여주며, 이는 추론이 신뢰할 수 없음을 시사한다.
• 이론적 프레임워크는 구성 요소 분포의 퇴화한 극한(예: 분산이 사라지는 것)이 사후 발산의 주요 원인임을 규명한다.
• 데이터에 의존하는 사전이어도 결과는 동일하게 유지되며, 이는 모델가 잘못 지정된 경우 FMM의 발산이 사전 선택의 산물이 아니라 근본적인 성질임을 시사한다.