[논문 리뷰] Model Selection for Mixture Models - Perspectives and Strategies

Gilles Celeux, Sylvia Frühwirth‐Schnatter외 1명|arXiv (Cornell University)|2018. 12. 24.

Bayesian Methods and Mixture Models인용 수 8

한 줄 요약

이 논문은 유한 혼합모형의 모형 선택 전략에 대한 종합적인 리뷰를 제공하며, 구성 요소 수 $G$ 를 결정하기 위한 빈도주의와 베이지안 접근 방식을 비교한다. $G$ 는 밀도 추정 또는 모형 기반 클러스터링과 같은 모델링 목적에 따라 선택되어야 하며, 역전이 가능한 매크로 샘플링(MCMC), 희소 유한 혼합모형, 및 주변 가능도 추정과 같은 고급 방법을 소개한다. 이는 $G$ 가 종종 잘 식별되지 않으며, 추론은 구성 요소 수 $G_\text{+}$ 에 초점을 맞춰야 한다는 점을 보여준다.

ABSTRACT

Determining the number G of components in a finite mixture distribution is an important and difficult inference issue. This is a most important question, because statistical inference about the resulting model is highly sensitive to the value of G. Selecting an erroneous value of G may produce a poor density estimate. This is also a most difficult question from a theoretical perspective as it relates to unidentifiability issues of the mixture model. This is further a most relevant question from a practical viewpoint since the meaning of the number of components G is strongly related to the modelling purpose of a mixture distribution. We distinguish in this chapter between selecting G as a density estimation problem in Section 2 and selecting G in a model-based clustering framework in Section 3. Both sections discuss frequentist as well as Bayesian approaches. We present here some of the Bayesian solutions to the different interpretations of picking the "right" number of components in a mixture, before concluding on the ill-posed nature of the question.

연구 동기 및 목표

• 유한 혼합모형에서 구성 요소 수 $G$ 를 선택하는 데 있어 근본적인 과제를 다루며, 이는 정확한 밀도 추정과 클러스터링에 필수적이다.
• 빈도주의와 베이지안 접근 방식의 모형 선택을 비교·대조하여 각각의 강점과 한계를 부각한다.
• 정체성 문제와 레이블 전환 문제로 인해 추론의 진정한 목표는 $G$ 가 아니라 $G_\text{+}$ 이므로, 이에 대해 주장한다.
• 역전이 가능한 매크로 샘플링(MCMC)과 희소 유한 혼합모형과 같은 일괄 베이지안 방법을 제시하고, $G$ 와 모형 파라미터를 함께 추정하는 데 평가한다.
• 사전 분포, 특히 희소 유한 혼합모형에서의 사전 분포가 $G_\text{+}$ 의 사후 분포에 결정적인 역할을 한다는 것을 보여준다.

제안 방법

• 빈도주의 및 베이지안 모형 선택을 위해 정보 기준(예: AIC, BIC, DIC, 최소 메시지 길이)과 주변 가능도를 사용한다.
• 모델 비교를 위해 치비의 방법과 샘플링 기반 근사치를 사용하여 주변 가능도를 추정한다.
• 클러스터링 중심의 모형 선택을 위해 통합 완전 데이터 가능도(ICL)와 조건부 분류 가능도를 도입한다.
• 다른 $G$ 값에 대한 모형 간을 뛰어넘는 역전이 가능한 매크로 샘플링(MCMC)을 사용하여 교차 모형 추론을 수행한다.
• 사전 분포 $\eta \sim \mathcal{D}_G(e_0)$ 를 갖는 희소 유한 혼합모형을 제안하여 희소성을 유도하고 $G$ 와 파라미터를 함께 추정할 수 있도록 한다.
• 군집 할당에 대한 사전 예측 분포를 유도하여, 새로운 군집을 생성할 확률이 $e_0$ 와 $G$ 에 따라 달라지며, DP 혼합모형과는 달리 일정하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 모형이 정체성이 없고 레이블 전환이 발생할 때, 유한 혼합모형에서 구성 요소 수 $G$ 를 신뢰성 있게 선택하는 방법은 무엇인가?
• RQ2 빈도주의 정보 기준(AIC, BIC)과 베이지안 주변 가능도 사이에서 $G$ 를 선택할 때의 상대적 우수성은 무엇인가?
• RQ3 역전이 가능한 매크로 샘플링(MCMC)과 희소 유한 혼합모형과 같은 일괄 베이지안 방법은 $G$ 에 대한 교차 모형 추론을 어떻게 향상시키는가?
• RQ4 왜 추론에서 $G_\text{+}$ — 데이터 클러스터 수 — 는 $G$ 보다 더 의미 있는가? 그리고 사전 모형 설정은 이에 어떻게 影향을 미치는가?
• RQ5 모수 $e_0$ 를 갖는 대칭 딜레르트 사전 분포는 유한 혼합모형에서 새로운 군집에 할당될 확률에 어떻게 영향을 미치는가?

주요 결과

• 레이블 전환과 과적합으로 인해 유한 혼합모형에서 구성 요소 수 $G$ 는 잘 식별되지 않으며, 이는 본질적으로 잘못 정의된 추정 문제이다.
• 치비의 방법 또는 샘플링 기반 근사치를 통해 계산된 주변 가능도는 베이지안 기반의 모형 비교에 기초를 두지만, 사전 분포 선택에 민감하다.
• 통합 완전 데이터 가능도(ICL) 기준은 모형 기반 클러스터링에 효과적이며, 적합도와 군집 구조의 균형을 고려한 모형을 선호한다.
• 사전 분포 $\eta \sim \mathcal{D}_G(e_0)$ 를 갖는 희소 유한 혼합모형은 $G$ 와 파라미터를 함께 추정할 수 있으며, $e_0$ 가 고정되어 있을 때 $G$ 가 증가함에 따라 새로운 군집을 생성할 사전 확률이 증가한다.
• 새로운 관측치가 새로운 군집에 할당될 사전 확률은 $\frac{e_0(G - G_\text{+}^{-i})}{n - 1 + e_0 G}$ 로 표현되며, 이는 $e_0$ 와 $G$ 에 모두 의존한다. 이는 DP 혼합모형과 달리 일정하지 않다.
• 점근적 결과에 따르면 $n \to \infty$ 일 때 $G$ 는 식별 가능해지지만, 유한 표본에서는 비어 있지 않은 군집 수인 $G_\text{+}$ 가 더 의미 있는 추론 대상이다.