[論文レビュー] Estimation and Feature Selection in Mixtures of Generalized Linear Experts Models

Bao Huynh, Faïcel Chamroukhi|arXiv (Cornell University)|Jul 14, 2019

Bayesian Methods and Mixture Models参考文献 34被引用数 4

ひとこと要約

本稿では、一般化線形エキスパートの混合モデル（MoE）に対する正則化付き最尤推定フレームワークを提案する。特徴選択は $λ_1$-ペナルティ付き尤度に基づき、高次元設定における効率的なパラメータ推定のためのプロキシマル・ニュートンEMアルゴリズムを統合している。この手法はスパースで安定した解を達成し、真の特徴パターンの回復および異質な回帰データのクラスタリングにおいて、最先端の競合手法を上回る性能を発揮する。

ABSTRACT

Mixtures-of-Experts (MoE) are conditional mixture models that have shown their performance in modeling heterogeneity in data in many statistical learning approaches for prediction, including regression and classification, as well as for clustering. Their estimation in high-dimensional problems is still however challenging. We consider the problem of parameter estimation and feature selection in MoE models with different generalized linear experts models, and propose a regularized maximum likelihood estimation that efficiently encourages sparse solutions for heterogeneous data with high-dimensional predictors. The developed proximal-Newton EM algorithm includes proximal Newton-type procedures to update the model parameter by monotonically maximizing the objective function and allows to perform efficient estimation and feature selection. An experimental study shows the good performance of the algorithms in terms of recovering the actual sparse solutions, parameter estimation, and clustering of heterogeneous regression data, compared to the main state-of-the art competitors.

研究の動機と目的

• 高次元の一般化線形エキスパートの混合モデル（MoE）におけるパラメータ推定と特徴選択の課題に対処すること。
• 予測変数が多数で相関関係にある場合に、標準的な最尤推定（MLE）が不安定でスパース性に欠ける問題を克服すること。
• 正則化された目的関数を単調に最大化する計算的に効率的なアルゴリズムを構築し、スパース解を促進すること。
• Lasso や SCAD などの正則化技術を、一般化線形エキスパートを備えたMoEモデルに拡張し、モデルの解釈性と性能を向上させること。
• アルゴリズムが異質なデータにおける真のスパース構造を回復できるかどうかの理論的および実証的妥当性を提供すること。

提案手法

• 特徴選択を促進するために、$λ_1$-ノルムペナルティを用いた正則化付き最尤目的関数を用いる。
• 対数尤度関数の局所的二次近似を解くことで、パラメータを繰り返し更新するプロキシマル・ニュートン型EMアルゴリズムを構築する。
• 現在のパラメータ推定値の周囲で、対数尤度関数のテイラー展開を適用して局所的二次近似を構築する。
• ポアソン分布および多項分布出力のケースにおいて、近似目的関数の1次および2次微分の明示的表現を導出する。
• 各反復で目的関数が単調に増加するよう保証するため、座標ごとの更新戦略をプロキシマル・ニュートンステップに適用する。
• スパース性を強制するために最適化ステップでソフトスレッショルド処理を実装し、効果的に特徴選択を実現する。

実験結果

リサーチクエスチョン

• RQ1 正則化付き最尤推定は、高次元MoEモデルにおけるパラメータ推定と特徴選択を改善できるか？
• RQ2 提案されたプロキシマル・ニュートンEMアルゴリズムは、高次元予測変数が存在する状況でも単調かつ効率的に収束するか？
• RQ3 アルゴリズムの性能は、異質な回帰データにおける真のスパース構造の回復において、最先端の手法と比較して優れているか？
• RQ4 本手法は、ポアソン分布や多項分布といった異なる指数型分布族（Poisson, multinomial）をエキスパート部に効果的に処理できるか？
• RQ5 非凸ペナルティ（例：SCAD）と凸ペナルティ（例：Lasso）の違いが、モデル選択および推定精度に与える影響は何か？

主な発見

• 提案されたプロキシマル・ニュートンEMアルゴリズムは、正則化された目的関数を単調に増加させ、収束の安定性を保証する。
• シミュレーションによる高次元回帰データにおいて、真のスパース特徴パターンを効果的に回復し、特徴選択精度において競合手法を上回る。
• ポアソンおよび多項分布出力のケースでは、高次元設定下で標準MLEに比べてバイアスが低減され、正確なパラメータ推定が達成される。
• 異質な回帰データのクラスタリングにおいて、アルゴリズムは頑健な性能を示し、潜在的なサブポピュレーションを正しく同定する。
• 二次近似とプロキシマル更新の組み合わせにより、予測変数の数が大きくても計算が効率的に行える。
• 実証的結果から、本手法はさまざまなデータ構成およびノイズレベルにおいて、良好な推定および選択性能を維持することが確認された。