[논문 리뷰] On the Identifiability of Finite Mixtures of Finite Product Measures

Behrooz Tahmasebi, Seyed Abolfazl Motahari외 1명|arXiv (Cornell University)|2018. 07. 14.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 5

한 줄 요약

이 논문은 두 가지 유형의 변수 분리성—강한 분리성과 약한 분리성—을 도입함으로써 유한한 혼합 모형의 유한한 곱 측도에 대한 기본 식별 가능성 조건을 수립한다. 강한 분리성을 가진 변수가 최소 $2K-1$개이거나 약한 분리성을 가진 변수가 최소 $2K$개일 경우, 상태 공간 크기 $M$과 무관하게 식별 가능성은 보장되며, 특성 다항식 분석과 귀납적 증명을 통해 날카로운 임계값을 제공한다.

ABSTRACT

The problem of identifiability of finite mixtures of finite product measures is studied. A mixture model with $K$ mixture components and $L$ observed variables is considered, where each variable takes its value in a finite set with cardinality $M$.The variables are independent in each mixture component. The identifiability of a mixture model means the possibility of attaining the mixture components parameters by observing its mixture distribution. In this paper, we investigate fundamental relations between the identifiability of mixture models and the separability of their observed variables by introducing two types of separability: strongly and weakly separable variables. Roughly speaking, a variable is said to be separable, if and only if it has some differences among its probability distributions in different mixture components. We prove that mixture models are identifiable if the number of strongly separable variables is greater than or equal to $2K-1$, independent form $M$. This fundamental threshold is shown to be tight, where a family of non-identifiable mixture models with less than $2K-1$ strongly separable variables is provided. We also show that mixture models are identifiable if they have at least $2K$ weakly separable variables. To prove these theorems, we introduce a particular polynomial, called characteristic polynomial, which translates the identifiability conditions to identity of polynomials and allows us to construct an inductive proof.

연구 동기 및 목표

• 유한한 혼합 모형의 유한한 곱 측도가 식별 가능해지는 기본 조건을 수립하기 위해.
• 혼합 모형의 식별 가능성 결정에 있어 변수 분리성—강한 및 약한—의 역할을 조사하기 위해.
• 인구 유전학과 같은 분야에서 흔히 발생하는 비일반적이고 측도가 0인 매개변수 영역에 대한 식별 가능성 이론의 격차를 메우기 위해.
• 상태 공간 크기 $M$과 무관하게, 분리 가능한 변수의 수에 기반한 식별 가능성에 대한 날카로운 임계값을 제공하기 위해.
• 특성 다항식을 활용한 다항식 기반 프레임워크를 개발하여 식별 가능성 문제를 다항식의 동일성 문제로 변환하기 위해.

제안 방법

• 강한 분리성 변수(각 구성 요소 간 엄격히 다른 확률질량함수를 가짐)와 약한 분리성 변수(각 구성 요소 간 일부 차이가 있는 확률질량함수를 가짐)라는 두 가지 분리성 개념을 도입하기 위해.
• 혼합 모형의 매개변수를 다항식 표현으로 매핑하는 특성 다항식을 정의하여, 식별 가능성 문제를 다항식의 동일성 문제로 변환할 수 있도록 하기 위해.
• 귀납법과 다항식의 동일성 논증을 사용하여 $2K-1$개의 강한 분리성 변수로도 충분히 식별 가능함을 증명하기 위해.
• 기존의 $M$-원 모형에서 보조 이진 혼합 모형을 구성하여 문제를 이진 경우로 축소하고, $M=2$일 때 알려진 결과를 활용하기 위해.
• 치환 불변성과 대칭성 논증을 적용하여 다항식의 동치성과 변수 투영 기법을 사용해 레이블링을 제외한 구성 요소 매개변수를 복원하기 위해.
• 강한 분리성 변수가 $2K-1$개보다 적은 경우에 대해 식별 불가능한 모형의 가족을 명시적으로 구성하여 임계값이 최적임을 입증하기 위해.

실험 결과

연구 질문

• RQ1 유한한 혼합 모형의 유한한 곱 측도가 식별 가능해지기 위해 필요한 최소 강한 분리성 변수 수는 얼마인가?
• RQ2 강한 분리성 변수가 $2K-1$개 미만일 경우에도 식별 가능성이 보장될 수 있는가, 아니면 이 임계값이 최적인가?
• RQ3 약한 분리성 개념은 식별 가능성과 어떻게 관련되어 있으며, 필요한 최소 약한 분리성 변수 수는 얼마인가?
• RQ4 특성 다항식을 사용하여 식별 가능성 문제를 다항식의 동일성 문제로 축소시킬 수 있는가?
• RQ5 약한 분리성 변수 수에 대한 $2K$ 임계값은 최적인가, 아니면 향상시킬 수 있는가?

주요 결과

• 유한한 혼합 모형의 유한한 곱 측도는 최소 $2K-1$개의 강한 분리성 변수를 포함할 경우 식별 가능하며, 이 임계값은 날카로운 것이다.
• 강한 분리성 변수가 $2K-1$개 미만인 식별 불가능한 혼합 모형의 가족이 명시적으로 구성되었으며, 이는 임계값이 최적임을 증명한다.
• 최소 $2K$개의 약한 분리성 변수를 포함할 경우 유한한 혼합 모형은 식별 가능하며, 이 경계는 최적에 한 칸 내외이다.
• 특성 다항식은 식별 가능성을 다항식의 동일성 문제로 변환하는 핵심 도구를 제공하며, 변수 수와 구성 요소 수에 따라 귀납적 증명이 가능하게 한다.
• 결과는 상태 공간 크기 $M$과 무관하게 성립하므로, 임의의 유한한 이산 변수를 갖는 응용 분야에 대해 강건하다.
• $M=2$일 경우 약한 분리성과 강한 분리성이 일치하며, 약한 분리성 변수에 대한 $2K$ 임계값은 기존 결과에 부합하는 강한 분리성 변수에 대한 알려진 $2K-1$ 임계값으로 축소된다.