[論文レビュー] On the Identifiability of Finite Mixtures of Finite Product Measures

Behrooz Tahmasebi, Seyed Abolfazl Motahari+1 more|arXiv (Cornell University)|Jul 14, 2018

Bayesian Methods and Mixture Models参考文献 13被引用数 5

ひとこと要約

本稿では、有限混合の有限積測度に対して、強い分離可能性と弱い分離可能性の2種類の変数分離性を導入することで、根本的な同定可能性条件を確立する。同定可能性は、状態空間サイズ $M$ に依存せず、少なくとも $2K-1$ 個の強い分離可能な変数、または $2K$ 個の弱い分離可能な変数が存在する場合に保証され、特徴多項式解析と帰納的証明により、タイトな閾値が得られる。

ABSTRACT

The problem of identifiability of finite mixtures of finite product measures is studied. A mixture model with $K$ mixture components and $L$ observed variables is considered, where each variable takes its value in a finite set with cardinality $M$.The variables are independent in each mixture component. The identifiability of a mixture model means the possibility of attaining the mixture components parameters by observing its mixture distribution. In this paper, we investigate fundamental relations between the identifiability of mixture models and the separability of their observed variables by introducing two types of separability: strongly and weakly separable variables. Roughly speaking, a variable is said to be separable, if and only if it has some differences among its probability distributions in different mixture components. We prove that mixture models are identifiable if the number of strongly separable variables is greater than or equal to $2K-1$, independent form $M$. This fundamental threshold is shown to be tight, where a family of non-identifiable mixture models with less than $2K-1$ strongly separable variables is provided. We also show that mixture models are identifiable if they have at least $2K$ weakly separable variables. To prove these theorems, we introduce a particular polynomial, called characteristic polynomial, which translates the identifiability conditions to identity of polynomials and allows us to construct an inductive proof.

研究の動機と目的

• 有限混合の有限積測度が同定可能となる根本的な条件を確立すること。
• 同定可能性を決定づける要因としての変数分離性（強と弱）の役割を調査すること。
• 人口遺伝学などの応用分野で一般的な非一般的・零測度パrameter領域における同定可能性理論のギャップを埋めること。
• 状態空間サイズ $M$ に依存しない、分離可能な変数の数に基づいた同定可能性のタイトな閾値を提供すること。
• 特徴多項式を用いた多項式ベースの枠組みを構築し、同定可能性を多項式の恒等的等価性問題に変換すること。

提案手法

• 強い分離可能な変数（成分間で厳密に異なるpmfを有する）と弱い分離可能な変数（成分間で一部のpmfに差がある）の2つの分離性の概念を導入する。
• 混合パラメータを多項式表現に写像する特徴多項式を定義し、同定可能性を多項式の恒等的等価性問題に変換可能にする。
• 帰納法と多項式の恒等的等価性の議論を用いて、$2K-1$ 個の強い分離可能な変数で十分であることを証明する。
• 元の $M$ 進モデルから補助的な2値混合モデルを構築し、$M=2$ の場合に既知の結果を活用して問題を2値ケースに還元する。
• 置換不変性と対称性の議論を用いて、多項式の同値性と変数射影技術を活用し、ラベル付けを除いて成分パラメータを回復する。
• 同定可能性を破るタイトな反例を、$2K-1$ 個未満の強い分離可能な変数を用いて構築し、閾値が最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 有限混合の有限積測度の同定可能性を保証するための、強い分離可能な変数の最小数は何か？
• RQ2 $2K-1$ 個未満の強い分離可能な変数で同定可能性が保証されるか、この閾値はタイトか？
• RQ3 弱い分離可能性の概念は同定可能性とどのように関係するか。また、必要な弱い分離可能な変数の最小数は何か？
• RQ4 特徴多項式を用いることで、同定可能性問題を多項式の恒等的等価性問題に還元できるか？
• RQ5 弱い分離可能な変数の数についての閾値 $2K$ は最適か、それより改善可能か？

主な発見

• 有限混合の有限積測度は、少なくとも $2K-1$ 個の強い分離可能な変数を含む場合に同定可能であり、この閾値はタイトである。
• $2K-1$ 個未満の強い分離可能な変数を含む同定不能な混合モデルの族を明示的に構築し、この閾値が最適であることを証明した。
• 有限混合は、少なくとも $2K$ 個の弱い分離可能な変数を含む場合に同定可能であり、この境界は最適値から1変数の差である。
• 特徴多項式は、同定可能性を多項式の恒等的等価性問題に還元する重要なツールを提供し、変数数と成分数の両方の帰納的証明を可能にする。
• 結果は状態空間サイズ $M$ に依存せず成立するため、任意の有限離散変数を扱う応用分野においても頑健である。
• $M=2$ の場合、弱い分離可能性と強い分離可能性は一致し、弱い分離可能な変数の $2K$ 閾値は、強い分離可能な変数の既知の $2K-1$ 閾値に還元され、先行研究と整合的である。