[논문 리뷰] Identifiability and optimal rates of convergence for parameters of multiple types in finite mixtures

Nhat Ho, XuanLong Nguyen|arXiv (Cornell University)|2015. 01. 11.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 5

한 줄 요약

이 논문은 유한 혼합모형에서 매개변수의 최적 수렴 속도를 확립하며, 강한 식별성 모형(각각 $W_1$ 및 $W_2$ 거리 측도 하에서 $n^{-1/2}$ 및 $n^{-1/4}$ 수렴 속도)과 약한 식별성 모형(예: 위치-스케일 정규분포 및 비대칭정규 혼합모형)을 구분한다. 약한 식별성 모형에서는 다항방정식계의 대수적 구조가 수렴 속도를 결정하며, 이로 인해 추가 성분이 추가될수록 수렴 속도가 상당히 둔해진다. 본 연구는 다양한 혼합가족에 걸쳐 식별성과 수렴 분석을 위한 일반적 프레임워크를 제공한다.

ABSTRACT

This paper studies identifiability and convergence behaviors for parameters of multiple types in finite mixtures, and the effects of model fitting with extra mixing components. First, we present a general theory for strong identifiability, which extends from the previous work of Nguyen [2013] and Chen [1995] to address a broad range of mixture models and to handle matrix-variate parameters. These models are shown to share the same Wasserstein distance based optimal rates of convergence for the space of mixing distributions --- $n^{-1/2}$ under $W_1$ for the exact-fitted and $n^{-1/4}$ under $W_2$ for the over-fitted setting, where $n$ is the sample size. This theory, however, is not applicable to several important model classes, including location-scale multivariate Gaussian mixtures, shape-scale Gamma mixtures and location-scale-shape skew-normal mixtures. The second part of this work is devoted to demonstrating that for these "weakly identifiable" classes, algebraic structures of the density family play a fundamental role in determining convergence rates of the model parameters, which display a very rich spectrum of behaviors. For instance, the optimal rate of parameter estimation in an over-fitted location-covariance Gaussian mixture is precisely determined by the order of a solvable system of polynomial equations --- these rates deteriorate rapidly as more extra components are added to the model. The established rates for a variety of settings are illustrated by a simulation study.

연구 동기 및 목표

• 행렬형 매개변수를 가진 유한 혼합모형에 대한 강한 식별성 이론을 일반화한다.
• 정확하게 피팅된 경우와 오버피팅 상황에서 혼합분포 매개변수의 최적 수렴 속도를 규명한다.
• 위약한 식별성 모형(예: 위치-스케일 정규분포 및 비대칭정규 혼합모형)에서 추가 혼합 성분이 추정 속도에 미치는 영향을 조사한다.
• 이러한 약한 식별성 클래스에서의 수렴 속도가 가역 다항방정식계의 차수에 의해 결정됨을 보여준다.

제안 방법

• Nguyen(2013)과 Chen(1995)의 이전 식별성 이론을 확장하여 행렬형 매개변수와 더 넓은 혼합가족을 포함한다.
• 와서스타인 거리 기반 분석을 적용하여 최적 수렴 속도를 유도한다: 정확 피팅 시 $W_1$ 하에서 $n^{-1/2}$, 오버피팅 시 $W_2$ 하에서 $n^{-1/4}$.
• 대수기하학을 활용하여 약한 식별성 모형을 분석하며, 밀도 가족에서 유도된 다항방정식계의 가역성과 차수에 중점을 둔다.
• 시뮬레이션 연구를 통해 다양한 혼합 설정에서 이론적 수렴 속도를 검증한다.
• 특히 추가 성분이 있는 오버피팅 모형에서, 기저 대수적 구조에 따라 매개변수 추정 속도를 유도한다.

실험 결과

연구 질문

• RQ1 강한 식별성 하에서 유한 혼합모형의 매개변수에 대한 최적 수렴 속도는 무엇이며, 사용된 와서스타인 거리 측도에 따라 어떻게 달라지나?
• RQ2 약한 식별성 모형에서 추가 혼합 성분이 포함된 오버피팅 상황에서 수렴 속도는 어떻게 변화하는가?
• RQ3 특히 가역 다항방정식계의 차수와 같은 대수적 구조는 약한 식별성 혼합가정의 추정 속도를 결정하는 데 어떤 역할을 하는가?
• RQ4 동일한 이론적 프레임워크를 유한 혼합모형의 행렬형 매개변수에 적용할 수 있는가?
• RQ5 위치-스케일 정규분포, 감마분포, 비대칭정규 혼합모형은 그 기초 대수적 성질에 따라 수렴 행동에서 어떻게 다를까?

주요 결과

• 강한 식별성 모형에서는 정확히 피팅된 경우 혼합분포의 최적 수렴 속도가 $W_1$ 거리 측도 하에서 $n^{-1/2}$이다.
• 오버피팅 설정에서는 최적 수렴 속도가 $W_2$ 거리 측도 하에서 $n^{-1/4}$로 악화된다.
• 위치-스케일 정규분포 혼합모형과 같은 약한 식별성 모형에서는 다항방정식계의 차수가 수렴 속도를 결정하며, 추가 성분이 많아질수록 상당히 느려진다.
• 추가 성분이 있는 위치-공분산 정규분포 혼합모형에서 매개변수 추정 속도는 기저 다항방정식계의 대수적 복잡성에 의해 정확히 결정된다.
• 시뮬레이션 연구를 통해 다양한 혼합 설정에서 이론적 수렴 속도가 확인되었으며, 대수적 구조가 추정 속도를 결정짓는 데 기여함을 검증하였다.
• 본 논문은 표준 식별성 이론이 다변량 정규분포 혼합모형과 비대칭정규 혼합모형과 같은 핵심 모형 클래스에 적용되지 않음을 보여주며, 새로운 대수적 접근이 필요함을 입증한다.