[論文レビュー] MM Algorithms for Variance Components Models

Hua Zhou, Liuyi Hu+2 more|arXiv (Cornell University)|Sep 24, 2015

Statistical Methods and Inference参考文献 6被引用数 6

ひとこと要約

本稿は、線形混合モデルにおける分散成分推定のための新しい最小化最大化（MM）アルゴリズムを提案する。MMの原則を活用することで、グローバル収束性と数値的安定性を保証する。2つ以上の分散成分が存在する場合、古典的なEMアルゴリズムに比べて収束速度が優れている。特に、200個以上の分散成分を含む高次元ゲノムデータを含む大規模問題において、優れた効率性を示している。

ABSTRACT

Variance components estimation and mixed model analysis are central themes in statistics with applications in numerous scientific disciplines. Despite the best efforts of generations of statisticians and numerical analysts, maximum likelihood estimation and restricted maximum likelihood estimation of variance component models remain numerically challenging. Building on the minorization-maximization (MM) principle, this paper presents a novel iterative algorithm for variance components estimation. MM algorithm is trivial to implement and competitive on large data problems. The algorithm readily extends to more complicated problems such as linear mixed models, multivariate response models possibly with missing data, maximum a posteriori estimation, penalized estimation, and generalized estimating equations (GEE). We establish the global convergence of the MM algorithm to a KKT point and demonstrate, both numerically and theoretically, that it converges faster than the classical EM algorithm when the number of variance components is greater than two and all covariance matrices are positive definite.

研究の動機と目的

• 高次元混合モデルにおける分散成分の最尤推定および制限付き最尤推定の数値的課題を解決すること。
• 大規模データセットや複雑なモデルにスケーリング効率よく対応できる、安定的かつグローバルに収束するアルゴリズムの開発。
• MMフレームワークを一般化推定方程式、罰則付き推定、欠損値を含む多変量応答モデルに拡張すること。
• 2つ以上の分散成分を含むモデルにおいて、MMアルゴリズムがEMに比して収束速度に優れていることを示すこと。
• lasso型罰則を用いたゲノム分野における高次元分散成分の選択を可能とすること。

提案手法

• MMアルゴリズムは、対数尤度関数を下から押さえる補助関数（サロゲート関数）を構築し、単調増加とグローバル収束を保証する。
• 各反復で、行列の凸性とMMの原則を用いて導出された二次下界関数を最大化することで、分散成分を更新する。
• 正定値共分散行列を扱い、固定効果の設計行列の核空間に応答を射影することで、REMLへの自然な拡張が可能である。
• 高次元設定では、アルゴリズムがlasso型罰則と統合され、関連する分散成分の選択が可能になる。解パスアプローチが用いられる。
• 非線形モデルや楕円対称分布への拡張は、MMの主要化と既存のロバスト推定フレームワークを組み合わせることで達成される。
• 計算的に効率的であり、各反復でヘッセ行列の計算を回避するため、行列逆行列と線形代数演算のみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 MMの原則は、線形混合モデルにおける分散成分推定に効果的に適用可能であり、グローバル収束性と数値的安定性を保証できるか？
• RQ2 分散成分の数が2つを超える場合、提案されたMMアルゴリズムの収束速度は古典的EMアルゴリズムに比べてどのように異なるか？
• RQ3 MMフレームワークは、多変量応答、欠損データ、罰則付き推定を含む混合モデルに対しても拡張可能か？
• RQ4 MMアルゴリズムは、200個以上の分散成分を含むゲノムデータのような高次元問題に効率的にスケーリング可能か？
• RQ5 MMアルゴリズムは、一般化推定方程式や楕円分布下でのロバスト回帰に適応可能か？

主な発見

• MMアルゴリズムは、Karush-Kuhn-Tucker（KKT）点にグローバルに収束するため、最適化における理論的信頼性が保証される。
• 分散成分の数が2つを超える場合、かつすべての共分散行列が正定値である場合、MMアルゴリズムはEMアルゴリズムよりも収束が速い。
• 200個以上の分散成分を含むゲノム研究において、MMアルゴリズムはスケーラビリティと計算的効率性を示した。
• lasso罰則付きMMアルゴリズムは、身長に関連する上位10個の遺伝子を効果的に同定した。その順位は周辺p値とは異なり、より優れた変数選択を示している。
• MMアルゴリズムは収束速度が優れており、数値的安定性を維持しているため、大規模および高次元問題に適している。
• 本手法は、REML、欠損値を含む多変量応答、MAP推定、一般化推定方程式（GEE）への自然な拡張が可能である。