[論文レビュー] Non-Normal Mixtures of Experts

Faïcel Chamroukhi|arXiv (Cornell University)|Jun 22, 2015

Bayesian Methods and Mixture Models被引用数 6

ひとこと要約

本稿では、歪んだ、裾が重たい、または外れ値を含む回帰およびクラスタリングデータをモデル化する際の正規混合エキスパート（NMoE）の限界を克服するため、非正規混合エキスパート（NNMoE）モデル—歪正規混合エキスパート（SNMoE）、t混合エキスパート（TMoE）、歪t混合エキスパート（STMoE）—を提案する。これらのモデルは、潜在変数を伴う最尤推定のためのEM/ECMアルゴリズムを用い、シミュレーテッドおよび実世界のデータ（トーン認識、気候温度異常）において優れたロバスト性と精度を示した。

ABSTRACT

Mixture of Experts (MoE) is a popular framework for modeling heterogeneity in data for regression, classification and clustering. For continuous data which we consider here in the context of regression and cluster analysis, MoE usually use normal experts, that is, expert components following the Gaussian distribution. However, for a set of data containing a group or groups of observations with asymmetric behavior, heavy tails or atypical observations, the use of normal experts may be unsuitable and can unduly affect the fit of the MoE model. In this paper, we introduce new non-normal mixture of experts (NNMoE) which can deal with these issues regarding possibly skewed, heavy-tailed data and with outliers. The proposed models are the skew-normal MoE and the robust $t$ MoE and skew $t$ MoE, respectively named SNMoE, TMoE and STMoE. We develop dedicated expectation-maximization (EM) and expectation conditional maximization (ECM) algorithms to estimate the parameters of the proposed models by monotonically maximizing the observed data log-likelihood. We describe how the presented models can be used in prediction and in model-based clustering of regression data. Numerical experiments carried out on simulated data show the effectiveness and the robustness of the proposed models in terms modeling non-linear regression functions as well as in model-based clustering. Then, to show their usefulness for practical applications, the proposed models are applied to the real-world data of tone perception for musical data analysis, and the one of temperature anomalies for the analysis of climate change data.

研究の動機と目的

• 歪んだ、裾が重たい、または外れ値を含むデータを扱う際の正規混合エキスパート（NMoE）の限界を解消すること。
• 歪正規、t、歪t分布に基づく非正規MoEモデルを構築し、非ガウス分布のデータに対するロバスト性と適合性を向上させること。
• 潜在変数を伴うモデルパラメータの最尤推定のための専用のEMおよびECMアルゴリズムを提供すること。
• 非線形回帰予測および連続データのモデルベースクラスタリングにおけるNNMoEモデルの有効性を示すこと。
• シミュレーテッドデータおよび実世界の応用（トーン認識、気候変動データを含む）において、モデルを検証すること。

提案手法

• 歪正規分布を用いて非対称データをモデル化するSNMoEを提案し、潜在変数モデリングのための階層的および確率的表現を導入する。
• t分布に基づくTMoEを導入し、裾の重たいデータおよび外れ値を扱う。正規分布のスケール混合を活用してロバスト性を向上させる。
• 歪正規分布とt分布を歪t分布を介して組み合わせることで、歪度と裾の重さを同時にモデル化するSTMoEを開発する。
• 観測データの対数尤度を単調に最大化するECMおよびEMアルゴリズムを設計し、すべてのモデルパラメータのEステップおよびMステップの更新式を導出する。
• 特に混合成分における潜在変数の取り扱いを容易にするために、確率的および階層的表現を用いてEM/ECMアルゴリズムの導出を支援する。
• シミュレーテッドおよび実データの両方の実験において、最適なコンポーネント数を決定するためのモデル選択基準（BIC、AIC、ICL）を適用する。

実験結果

リサーチクエスチョン

• RQ1 非正規混合エキスパートモデル（SNMoE, TMoE, STMoE）は、標準的な正規MoEと比較して、歪度、裾の重さ、外れ値を含むデータのモデリング精度を向上させることができるか？
• RQ2 SNMoE, TMoE, STMoEは、非対称的または裾の重たいデータが存在する非線形回帰関数をどれほど正確に近似できるか？
• RQ3 提案されたモデルは、異種回帰データにおけるモデルベースクラスタリング性能をどの程度向上させるか？
• RQ4 シミュレーション研究において、TMoEおよびSTMoEはNMoEおよびSNMoEと比較して、外れ値に対してどの程度ロバストか？
• RQ5 トーン認識および気候温度異常といった実世界データにおいて、提案されたモデルの経験的性能はいかがなものか？

主な発見

• SNMoE, TMoE, STMoEは、歪度、裾の重さ、外れ値を含むシミュレーテッドデータにおける非線形回帰関数を効果的にモデル化した。
• TMoEおよびSTMoEは、正規混合エキスパート（NMoE）と比較して外れ値に対して優れたロバスト性を示した。これは、安定したパラメータ推定値と一貫性のある対数尤度プロファイルによって裏付けられた。
• トーン認識データセットでは、すべてのモデルが同等の適合度を示したが、STMoEおよびTMoEは先行研究におけるラプラス混合エキスパート（Laplace MoE）モデルと同等の性能を示した。
• 気温異常データセットでは、BICおよびICLによるモデル選択が常に2成分を選択したが、AICはNMoEに対してより多くの成分を選択しており、過剰適合の可能性を示唆した。
• TMoEおよびSTMoEにおける自由度の推定値は17を超えており、データが概ね正規分布に近いことを示唆した。また、歪度パラメータは0に非常に近い値を示し、気温異常データに対称性があることを支持した。
• 各モデル間でのパラメータ推定値は極めて一貫しており、SNMoEおよびSTMoEはほぼ0に近い歪度を示しており、気温異常データに顕著な非対称性がないことを示した。