[論文レビュー] Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models

Faïcel Chamroukhi, Bao-Tuyen Huynh|arXiv (Cornell University)|Oct 29, 2018

Bayesian Methods and Mixture Models参考文献 18被引用数 9

ひとこと要約

本稿では、高次元回帰データにおける自動特徴選択を可能にする、Mixture-of-Experts (MoE) モデルの正則化付き最尤推定フレームワークを提案する。新しいMMおよび座標順化手法を用いて、行列の逆行列計算やしきい値処理を回避する形で、EMアルゴリズムにℓ1正則化を直接統合することで、スパースなパラメータ推定を実現した。この手法は、真のスパース構造の回復および異質なデータのクラスタリングにおいて優れた性能を示した。

ABSTRACT

Mixture of Experts (MoE) are successful models for modeling heterogeneous data in many statistical learning problems including regression, clustering and classification. Generally fitted by maximum likelihood estimation via the well-known EM algorithm, their application to high-dimensional problems is still therefore challenging. We consider the problem of fitting and feature selection in MoE models, and propose a regularized maximum likelihood estimation approach that encourages sparse solutions for heterogeneous regression data models with potentially high-dimensional predictors. Unlike state-of-the art regularized MLE for MoE, the proposed modelings do not require an approximate of the penalty function. We develop two hybrid EM algorithms: an Expectation-Majorization-Maximization (EM/MM) algorithm, and an EM algorithm with coordinate ascent algorithm. The proposed algorithms allow to automatically obtaining sparse solutions without thresholding, and avoid matrix inversion by allowing univariate parameter updates. An experimental study shows the good performance of the algorithms in terms of recovering the actual sparse solutions, parameter estimation, and clustering of heterogeneous regression data.

研究の動機と目的

• 従来の最尤推定（MLE）が過学習を引き起こし、スパarsityが欠如する高次元設定において、MoEモデルを適合させる課題に対処すること。
• 近似ペナルティ関数に依存せずに、エキスパートおよびゲーティングネットワークの両方のパラメータにスパarsityを誘導する正則化付きMLEアプローチを開発すること。
• 行列の逆行列計算を回避し、高次元データにおけるスケーラブルな計算を可能にするEMに基づく効率的なアルゴリズムを設計すること。
• パラメータ更新ステップにℓ1ペナルティを直接埋め込むことで、後続のしきい値処理を不要とする自動特徴選択を達成すること。

提案手法

• エキスパート回帰係数（βk）およびゲーティングネットワーク重み（wk）にℓ1ペナルティを組み込んだ、正則化付きQ関数をEMアルゴリズムに導入し、それぞれの正則化パラメータλkおよびγkを別々に設定する。
• 2つのハイブリッドEMアルゴリズムを提案：1つはゲーティングネットワークの更新にMM（マジョライゼーション・ミニマイゼーション）アルゴリズムを用い、もう1つはパラメータ最適化に座標順化を用いる。
• ゲーティングネットワークの対数パーティション項に対して、下界関数を用いることで行列の逆行列計算を回避し、一変量の更新を可能にし、計算効率を確保する。
• 補助関数を、補題3.1に基づいて定義し、負の対数尤度項を下界近似することで、Mステップにおける単調な上昇を実現する。
• MMアルゴリズムを用いて、ゲーティングネットワークパラメータ（wk）の明示的更新式を導出することで、収束性を保証し、数値的不安定性を回避する。
• パラメータを逐次的に更新する座標順化を適用し、スパarsityを維持するとともに、フルヘッシアン行列の計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 正則化付きMLEは、後続のしきい値処理や近似ペナルティ関数に依存せずに、MoEモデルで自動特徴選択を達成できるか？
• RQ2 EMアルゴリズムは、エキスパートおよびゲーティングネットワークの両方のパラメータにℓ1正則化を組み込みつつ、行列の逆行列計算を回避できるようにどのように変更できるか？
• RQ3 提案されたMMベースのEMアルゴリズムは、スパース解を有する高次元設定でも収束性および安定性を維持できるか？
• RQ4 提案手法の性能は、パラメータ推定およびクラスタリング精度の観点で、最先端の正則化付きMoEモデルと比較してどうなるか？

主な発見

• 提案されたMMベースのEMアルゴリズムは、一変量パラメータ更新を可能にすることで、行列の逆行列計算を効果的に回避し、高次元データにおけるスケーラビリティを著しく向上させた。
• Mステップに直接ℓ1正則化を組み込むことで、後続の処理としてのしきい値処理を不要とするスパース性を達成した。
• 実験結果から、シミュレーションデータにおいて真のスパース構造が強く回復され、複数のコンポーネントにわたり関連のある予測子の高精度同定が確認された。
• EMアルゴリズムの座標順化バージョンは、MMベースの手法と同等またはそれ以上の収束速度と安定性を示した。
• 両アルゴリズムとも、標準MLEおよび既存の正則化付きMoE手法を上回り、特に高次元設定における異質な回帰データのクラスタリングにおいて優れた性能を発揮した。
• 相関のある予測子や高次元特徴空間が存在する状況でも、過学習および特異解の発生に対して頑健であることが確認された。