[論文レビュー] Semiparametric Mixtures of Regressions with Single-index for Model Based Clustering

Sijia Xiang, Weixin Yao|arXiv (Cornell University)|Aug 11, 2017

Bayesian Methods and Mixture Models参考文献 21被引用数 4

ひとこと要約

本稿では、単一インデックス構造を用いて高次元予測子効果を低次元化することで、次元の呪いを回避する半パラメトリック混合回帰モデル2つ——Mixture of Single-Index Models (MSIM) と Mixture of Regression Models with Varying Single-Index Proportions (MRSIP)——を提案する。この手法は、修正されたEMアルゴリズムとバックフィッティングを組み合わせ、最適な収束速度を達成し、シミュレーションおよびNBAデータにおいて、特に高次元設定下で優れたクラスタリングおよび予測性能を示す。

ABSTRACT

In this article, we propose two classes of semiparametric mixture regression models with single-index for model based clustering. Unlike many semiparametric/nonparametric mixture regression models that can only be applied to low dimensional predictors, the new semiparametric models can easily incorporate high dimensional predictors into the nonparametric components. The proposed models are very general, and many of the recently proposed semiparametric/nonparametric mixture regression models are indeed special cases of the new models. Backfitting estimates and the corresponding modified EM algorithms are proposed to achieve optimal convergence rates for both parametric and nonparametric parts. We establish the identifiability results of the proposed two models and investigate the asymptotic properties of the proposed estimation procedures. Simulation studies are conducted to demonstrate the finite sample performance of the proposed models. An application of NBA data by new models reveals some new findings.

研究の動機と目的

• 予測子が高次元である場合に、半パラメトリック／非パラメトリック混合回帰モデルにおける次元の呪いを解消すること。
• 従来の混合回帰モデルの強いパラメトリック仮定を緩和しつつ、解釈可能性を維持する柔軟な半パラメトリックモデルの開発。
• 次元削減のための単一インデックス構造を用いて、成分の平均、分散、および割合の非パラメトリック推定を可能にすること。
• やや弱い正則性条件の下で、提案モデルの同定可能性および漸近的性質を確立すること。
• シミュレーションおよび実データ（NBA）分析を通じて、クラスタリングおよび予測性能の向上を実証すること。

提案手法

• 単一インデックスモデルの混合（MSIM）を提案：$ Y|\mathbf{x} \sim \sum_{j=1}^{k} \pi_j(\mathbf{\alpha}^T\mathbf{x}) \phi(Y_i | m_j(\mathbf{\alpha}^T\mathbf{x}), \sigma_j^2(\mathbf{\alpha}^T\mathbf{x})) $。ここでインデックス $ \mathbf{\alpha}^T\mathbf{x} $ により、高次元非パラメトリック推定を単変量スムージングに低次元化する。
• 変動する単一インデックス割合を有する回帰モデルの混合（MRSIP）を提案：$ Y|\mathbf{x} \sim \sum_{j=1}^{k} \pi_j(\mathbf{\alpha}^T\mathbf{x}) \phi(Y_i | \mathbf{x}^T\mathbf{\beta}_j, \sigma_j^2) $。成分の割合を単一インデックスを介して非パラメトリックにモデル化しつつ、回帰関数は線形を維持する。
• パラメトリック（例：$ \mathbf{\beta}_j $）および非パラメトリック（例：$ m_j(\cdot), \pi_j(\cdot) $）成分を同時に推定するため、バックフィッティングを組み合わせた修正EMアルゴリズムを開発し、最適な収束速度を達成する。
• 単一インデックスに沿った非パラメトリック推定にカーネル回帰を用い、直接的な多次元カーネルスムージングを回避する。
• バンド幅選択およびモデル比較に交差検証を適用し、実データ評価にはモンテカルロ交差検証を用いる。
• やや弱い正則性条件の下で、両モデルの同定可能性を確立し、推定量の漸近的性質を導出する。

実験結果

リサーチクエスチョン

• RQ1 単一インデックス構造は、高次元予測子に対する非パラメトリック混合回帰モデルの次元削減に効果的か？
• RQ2 提案されたMSIMおよびMRSIPモデルは、従来のパラメトリックおよび半パラメトリック混合モデルに比べ、クラスタリングおよび予測精度で優れているか？
• RQ3 バックフィッティングを組み合わせた修正EMアルゴリズムは、これらのモデルにおけるパラメトリックおよび非パラメトリック成分の両方で最適な収束速度を達成できるか？
• RQ4 やや弱い正則性条件の下で、提案モデルは同定可能か？また、その推定量の漸近的性質は何か？
• RQ5 実世界の応用、例えば高次元予測子を有するNBA選手のパフォーマンスのクラスタリングにおいて、モデルはどのように性能を発揮するか？

主な発見

• シミュレーション研究において、MRSIP(S)およびMRSIP(T)はMixLinRegに比べ、単一インデックスパラメータ推定の平均二乗誤差（MSE）が著しく低く、n=800の時点でMSEが0.892、0.979、0.969であったのに対し、MixLinRegはMSEが28.04であった。
• 成分割合の相対平均二乗誤差（RASE）は、n=800の時点でMRSIP(T)が9.960、MixLinRegが28.04であった。これは、割合推定において顕著な改善を示している。
• NBAデータにおいて、MSIMモデルはMPG（1ゲームあたりの出場時間）が最も影響力のある予測子であると特定した。$ \mathbf{\alpha} $ の95％信頼区間は、(0.134, 0.541)、(0.715, 0.949)、(0.202, 0.679) をカバーしており、得点数への強い影響を示唆している。
• 5分割、10分割、モンテカルロ交差検証の全テストで、MSIMおよびMRSIPは線形回帰および混合線形回帰モデルに比べて優れた予測精度を示した。予測誤差ではMSIMがMRSIPを上回った。
• 2つのモデルは既存のモデルの一般化である：k=1のときMSIMは単一インデックスモデルに簡略化され、xがスカラーのときにはHuangら（2013）の非パラメトリック混合モデルに一致する。
• 提案モデルはやや弱い正則性条件の下で同定可能であり、バックフィッティングを組み合わせた修正EMアルゴリズムは、パラメトリックおよび非パラメトリック両成分の最適な収束速度を達成する。