[论文解读] MM Algorithms for Variance Components Models

Hua Zhou, Liuyi Hu+2 more|arXiv (Cornell University)|Sep 24, 2015

Statistical Methods and Inference参考文献 6被引用 6

一句话总结

本文提出了一种用于线性混合模型中方差成分估计的新型最小化-最大化（MM）算法，利用MM原理确保全局收敛性和数值稳定性。当方差成分超过两个时，该方法在收敛速度上优于经典的EM算法，在大规模问题（包括具有超过200个方差成分的高维基因组数据）中表现出更优的效率。

ABSTRACT

Variance components estimation and mixed model analysis are central themes in statistics with applications in numerous scientific disciplines. Despite the best efforts of generations of statisticians and numerical analysts, maximum likelihood estimation and restricted maximum likelihood estimation of variance component models remain numerically challenging. Building on the minorization-maximization (MM) principle, this paper presents a novel iterative algorithm for variance components estimation. MM algorithm is trivial to implement and competitive on large data problems. The algorithm readily extends to more complicated problems such as linear mixed models, multivariate response models possibly with missing data, maximum a posteriori estimation, penalized estimation, and generalized estimating equations (GEE). We establish the global convergence of the MM algorithm to a KKT point and demonstrate, both numerically and theoretically, that it converges faster than the classical EM algorithm when the number of variance components is greater than two and all covariance matrices are positive definite.

研究动机与目标

• 解决高维混合模型中方差成分的最大似然和限制最大似然估计中的数值挑战。
• 开发一种稳定且全局收敛的算法，能够高效扩展至大规模数据集和复杂模型。
• 将MM框架扩展至广义估计方程、惩罚估计以及具有缺失数据的多变量响应模型。
• 证明MM算法在方差成分超过两个的模型中，相较于EM算法具有更快的收敛速度。
• 通过lasso型惩罚实现基因组学中高维方差成分的选择。

提出的方法

• MM算法构建一个下界逼近对数似然函数的代理函数，确保单调上升并全局收敛至KKT点。
• 在每次迭代中，通过矩阵凸性和MM原理推导出的二次下界，最大化以更新方差成分。
• 该方法可处理正定协方差矩阵，并通过将响应投影到固定效应设计矩阵的零空间，自然扩展至REML。
• 在高维设定下，算法与lasso型惩罚相结合，通过解路径方法选择相关方差成分。
• 通过将MM上界逼近与现有稳健估计框架结合，实现对非线性模型和椭球对称分布的扩展。
• 该算法计算高效，每次迭代仅需矩阵求逆和线性代数运算，避免计算Hessian矩阵。

实验结果

研究问题

• RQ1 MM原理能否有效应用于线性混合模型中方差成分估计，以确保全局收敛性和数值稳定性？
• RQ2 当方差成分数量超过两个时，所提出的MM算法的收敛速度与经典EM算法相比如何？
• RQ3 MM框架能否扩展以处理混合模型中的多变量响应、缺失数据和惩罚估计？
• RQ4 MM算法能否高效扩展至高维问题，如基因组数据中具有超过200个方差成分的问题？
• RQ5 MM算法能否适用于广义估计方程和椭球分布下的稳健回归？

主要发现

• MM算法全局收敛至Karush-Kuhn-Tucker（KKT）点，确保了优化过程的理论可靠性。
• 当方差成分数量超过两个且所有协方差矩阵均为正定时，MM算法的收敛速度优于EM算法。
• 在一项包含超过200个方差成分的基因组研究中，MM算法展现出良好的可扩展性和计算效率。
• lasso惩罚的MM算法成功识别出与身高相关的前10个基因，其排名与边际p值不同，表明变量选择性能更优。
• 该算法在保持数值稳定性的同时，收敛速度优于EM算法，适用于大规模和高维问题。
• 该方法可自然扩展至REML、具有缺失数据的多变量响应、MAP估计以及广义估计方程（GEE）