[논문 리뷰] On The Identifiability of Mixture Models from Grouped Samples

Robert A. Vandermeulen, Clayton Scott|arXiv (Cornell University)|2015. 02. 23.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 6

한 줄 요약

이 논문은 각 그룹이 동일한 구성성분에서 2m−1개의 i.i.d. 표본을 포함할 경우, m개 성분을 가진 유한 혼합 모형이 비모수적으로 식별 가능하다는 것을 입증한다. 또한 이 경계는 날카로운 것으로, 2m−2개의 표본만으로는 식별성이 실패한다. 이 결과는 두 개 이상의 원소를 가진 표본 공간에 대해 항상 성립하며, 텐서 곱 구조와 힐버트 공간 내 선형 독립성을 활용하여 모멘트 매칭을 통한 식별성 증명에 기반한다.

ABSTRACT

Finite mixture models are statistical models which appear in many problems in statistics and machine learning. In such models it is assumed that data are drawn from random probability measures, called mixture components, which are themselves drawn from a probability measure P over probability measures. When estimating mixture models, it is common to make assumptions on the mixture components, such as parametric assumptions. In this paper, we make no assumption on the mixture components, and instead assume that observations from the mixture model are grouped, such that observations in the same group are known to be drawn from the same component. We show that any mixture of m probability measures can be uniquely identified provided there are 2m-1 observations per group. Moreover we show that, for any m, there exists a mixture of m probability measures that cannot be uniquely identified when groups have 2m-2 observations. Our results hold for any sample space with more than one element.

연구 동기 및 목표

• 성분에 대한 모수적 가정 없이 유한 혼합 모형이 식별 가능해지는 기본 조건을 규명하는 것.
• 특히 그룹 크기—즉, 각 그룹당 i.i.d. 표본 수—가 비모수 혼합 모형의 식별성에 어떻게 영향을 미치는지 조사하는 것.
• 기본 표본 공간에 관계없이 성분에 대한 혼합 측도 P를 유일하게 복원하기 위해 필요한 최소 그룹 크기를 규명하는 것.
• m개 성분 혼합 모형의 식별성이 2m−1개의 표본이 그룹당 존재할 경우 필수적이고도 충분함을 증명하는 것.
• 2m−2개의 표본일 경우 식별성이 실패함을 보여주는 명시적 반례를 제시하는 것—이를 통해 경계의 날카로움을 입증하는 것.

제안 방법

• 모델을 구성성분 p_i ~ P에서 유래한 확률측도 위의 랜덤 측도 P로 공식화하며, 각 그룹은 동일한 성분에서 i.i.d. 관측치를 갖는다.
• 그룹 표본의 결합분포를 표현하기 위해 텐서 곱 공간을 사용하며, n개의 표본에 대해 p_i^{igotimes n}의 구조를 활용한다.
• 힐버트 공간 내 선형대수 기법을 적용하여 성분 측도의 텐서 거듭제곱의 선형 종속성을 분석하며, 특히 p_i^{igotimes (2m-2)}에 초점을 맞춘다.
• 두 원소에서 구성된 베르누이 측도를 사용하여 반례를 구성함으로써, 2m−2개의 표본일 경우 동일한 그룹 분포를 가진 서로 다른 혼합 모형이 존재함을 보여주며 비식별성을 입증한다.
• 레마 5.1을 활용해 문제를 대칭 텐서 곱의 등가성으로 환원하고, 레마 6.1을 통해 반례를 일반 사례에 통합한다.
• 임의의 m개의 측도가 확률측도의 1차원 애핀 부분공간에 포함될 수 있음을 증명함으로써, 2m−2개의 표본에서 비식별 혼합 모형을 구성할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 성분에 대한 모수적 가정 없이, m개 성분을 가진 유한 혼합 모형이 식별 가능해지기 위해 각 그룹당 최소 몇 개의 i.i.d. 표본이 필요한가?
• RQ2 비모수 모형 하에서, 두 개 이상의 원소를 가진 임의의 표본 공간에 대해 식별성이 보장될 수 있는가?
• RQ3 그룹당 2m−1개의 표본이라는 경계는 날카로운가, 아니면 더 적은 표본 수로도 식별성이 달성될 수 있는가?
• RQ4 각 그룹당 2m−2개의 표본이 존재할 경우, m개 성분을 가진 혼합 모형이 유일하게 복원될 수 있는가?
• RQ5 성분 측도의 기하학적 구조는 비모수 혼합 모형의 식별성에 어떤 영향을 미치는가?

주요 결과

• 각 그룹이 동일한 성분에서 최소 2m−1개의 i.i.d. 관측치를 포함할 경우, 임의의 m개 확률측도 혼합 모형은 그룹화된 표본으로부터 식별 가능하다.
• 그룹당 2m−1개의 표본이라는 경계는 날카로운 것으로, 2m−2개의 표본만으로는 m개 성분의 혼합 모형이 유일하게 식별되지 않는 경우가 존재한다.
• 반례는 두 점질량을 기반으로 한 m개의 서로 다른 베르누이 측도를 볼록조합으로 구성함으로써, 동일한 (2m−2)-중 텐서 곱을 가짐으로써 비식별성을 입증한다.
• 이 결과는 두 개 이상의 원소를 가진 임의의 표본 공간에 대해 일반적으로 성립하므로, 이 경계는 기본 도메인과 무관하다.
• 증명 기법은 힐버트 공간 내 텐서 거듭제곱의 선형 독립성과, 첫 m개의 텐서 거듭제곱에는 수직이지만 (m+1)번째에는 수직이 아닌 벡터의 존재에 기반하며, 이는 2m−2개의 표본에서의 비식별성을 보여준다.
• 이 결과는 이항분포 혼합 모형의 식별성과의 연결고리를 제시하며, Blischke(1964)가 그 설정에서 매개변수 식별성을 위해 n ≥ 2m−1이 필수적이고 충분하다고 보여준 바가 있음을 언급한다.