[论文解读] Model Building for Semiparametric Mixtures

Ramani S. Pilla, Francesco Bartolucci+1 more|ArXiv.org|Jun 3, 2006

Bayesian Methods and Mixture Models参考文献 29被引用 5

一句话总结

本文通过将非参数最大似然估计（NPMLE）重新表述为带有惩罚函数的凹优化问题，提出了一套统一的框架，用于估计半参数多变量混合模型，从而实现对混合复杂度和分量参数的稳健估计。该方法通过Sieve参数和基于惩罚的无约束优化，确保了NPMLE的收敛性和唯一性。

ABSTRACT

An important and yet difficult problem in fitting multivariate mixture models is determining the mixture complexity. We develop theory and a unified framework for finding the nonparametric maximum likelihood estimator of a multivariate mixing distribution and consequently estimating the mixture complexity. Multivariate mixtures provide a flexible approach to fitting high-dimensional data while offering data reduction through the number, location and shape of the component densities. The central principle of our method is to cast the mixture maximization problem in the concave optimization framework with finitely many linear inequality constraints and turn it into an unconstrained problem using a "penalty function". We establish the existence of parameter estimators and prove the convergence properties of the proposed algorithms. The role of a "sieve parameter'' in reducing the dimensionality of mixture models is demonstrated. We derive analytical machinery for building a collection of semiparametric mixture models, including the multivariate case, via the sieve parameter. The performance of the methods are shown with applications to several data sets including the cdc15 cell-cycle yeast microarray data.

研究动机与目标

• 解决在高维多变量数据中确定混合复杂度的挑战，特别是当分量数量未知时。
• 开发一种稳健的、保证收敛的非参数最大似然估计（NPMLE）算法，用于多变量设置下的混合分布估计。
• 通过引入Sieve参数降低维度，统一半参数混合模型的估计，从而实现高效计算。
• 克服EM算法的局限性，如收敛缓慢以及在分量冗余时无法达到边界解的问题。
• 在一般条件下，建立所提出的NPMLE估计器的存在性、唯一性和收敛性的理论保证。

提出的方法

• 将NPMLE问题重新表述为具有有限个线性不等式约束的凹优化问题。
• 引入惩罚函数，将约束优化问题转化为无约束问题，从而实现高效的数值求解。
• 利用Sieve参数降低混合分布的维度，有效控制模型复杂度。
• 应用路径跟随算法，调整惩罚参数，使不必要的混合分量权重趋近于零。
• 利用方向导数和对数似然函数的凹性，证明NPMLE解的收敛性和唯一性。
• 通过分析惩罚参数趋于无穷大时似然函数的行为，建立理论收敛性质。

实验结果

研究问题

• RQ1 如何使多变量混合分布的非参数最大似然估计对初始参数值和EM算法中常见的收敛问题具有鲁棒性？
• RQ2 在半参数多变量混合模型中，确保NPMLE存在性和唯一性的理论基础是什么？
• RQ3 如何设计惩罚函数，以有效降低混合模型的维度，同时保持估计精度？
• RQ4 Sieve参数在实现高维混合模型高效且稳定估计方面发挥何种作用？
• RQ5 所提出的框架是否能在模型过度参数化的情况下，一致地估计出真实的分量数量？

主要发现

• 所提出的基于惩罚的方法即使在EM算法失效或收敛缓慢时，也能确保收敛到非参数最大似然估计器（NPMLE）。
• 当分量密度线性无关时，混合分布的NPMLE唯一确定。
• 对数似然函数在参数空间中是凹的，这保证了优化问题具有唯一的全局最大值。
• 从估计混合测度到真实混合测度路径上，对数似然函数的方向导数非正，证实了NPMLE的最优性。
• 随着惩罚参数γ增大，目标函数在γ = ∞时趋近其上确界，表明该方法渐近地恢复了真实的NPMLE。
• 该方法在cdc15细胞周期酿酒酵母微阵列数据中成功识别出正确的分量数量，展示了在高维生物数据中的实际应用价值。