[論文レビュー] Mixture regression for observational data, with application to functional regression models

Toshiya Hoshikawa|arXiv (Cornell University)|Jun 30, 2013

Bayesian Methods and Mixture Models参考文献 19被引用数 9

ひとこと要約

本稿では、応答変数と共変量の分布を有限混合として同時にモデル化することで、共変量からのグループ所属の事後確率推定を可能にする共同混合回帰モデルを提案する。従来の混合回帰とは異なり、共変量の異質性を組み込み、グループ固有の事後確率を通じて新しい共変量値に適応することで予測精度を向上させる。関数データや多変量データにおいて優れた性能を示しており、バークレー成長研究のデータにも適用されている。

ABSTRACT

In a regression analysis, suppose we suspect that there are several heterogeneous groups in the population that a sample represents. Mixture regression models have been applied to address such problems. By modeling the conditional distribution of the response given the covariate as a mixture, the sample can be clustered into groups and the individual regression models for the groups can be estimated simultaneously. This approach treats the covariate as deterministic so that the covariate carries no information as to which group the subject is likely to belong to. Although this assumption may be reasonable in experiments where the covariate is completely determined by the experimenter, in observational data the covariate may behave differently across the groups. Thus the model should also incorporate the heterogeneity of the covariate, which allows us to estimate the membership of the subject from the covariate. In this paper, we consider a mixture regression model where the joint distribution of the response and the covariate is modeled as a mixture. Given a new observation of the covariate, this approach allows us to compute the posterior probabilities that the subject belongs to each group. Using these posterior probabilities, the prediction of the response can adaptively use the covariate. We introduce an inference procedure for this approach and show its properties concerning estimation and prediction. The model is explored for the functional covariate as well as the multivariate covariate. We present a real-data example where our approach outperforms the traditional approach, using the well-analyzed Berkeley growth study data.

研究の動機と目的

• 共変量を決定論的とみなす従来の混合回帰モデルの限界を是正すること。特に、グループ間での共変量の異質性を無視している点を改善する。
• 応答変数と共変量の両方の分布を混合としてモデル化する共同混合モデルを構築し、グループ所属の事後確率推定を可能にすること。
• 共変量情報を利用してグループ固有の回帰モデルに適応的に重みを付けることで、観測データにおける予測性能を向上させること。
• 関数データ設定への拡張を図ること。この場合、共変量の挙動がグループごとに異なる。

提案手法

• 応答変数 Y と共変量 X の同時密度を有限混合としてモデル化：f(Y,X|δk=1) = φ(Y; αk + βkᵀX, σk²)φ(X; μk, Σk)。これにより、グループ固有の共変量分布を許容する。
• パラメータ推定にEMアルゴリズムを用い、Eステップでは現在のパrameter推定値に基づいて所属確率τikを計算する。
• Mステップでは、重み付き最小二乗法とモーメント推定法を用いて、グループ重みπk、回帰係数βk、誤差分散σk²、およびグループ固有の共変量平均μkと分散-共分散行列Σkを更新する。
• 多変量および関数的共変量の両方の設定にモデルを適用し、関数的データには基底関数展開と平滑化を用いる。
• EMアルゴリズムの数値的安定性と収束性を向上させる再パラメータ化を導入する。
• モデルのグループ数Kの選択には、AIC や BIC などの情報量基準を用いる。

実験結果

リサーチクエスチョン

• RQ1 混合回帰枠組みにおいて、応答変数と共変量の分布を共同でモデル化することで、従来手法に比べて観測データにおける予測精度が向上するか？
• RQ2 グループ間での共変量の異質性を組み込むことで、グループ所属の事後確率推定と予測性能にどのような影響を与えるか？
• RQ3 新しい観測値のグループ所属が不明な状況において、提案された共同混合回帰モデルが標準的混合回帰を上回るか？
• RQ4 関数的共変量を扱う際に、予測精度を維持したままモデルをどの程度拡張できるか？
• RQ5 実世界の関数的データ、例えばバークレー成長研究のデータにおいて、モデルはどの程度の性能を示すか？

主な発見

• 提案された共同混合回帰モデルは、新しい観測値のグループ所属が不明な場合に、共変量情報に基づいて適応的な事後確率を計算することで、従来の混合回帰に比べて顕著に予測性能が向上することを示した。
• バークレー成長研究のデータにおいて、共同モデルは標準線形回帰および従来の混合回帰よりも低い予測誤差を達成しており、実用的利点を示した。
• 共変量分布をグループごとに変化させることで、成長曲線などの関数的共変量のグループ固有のパターンを効果的に捉えることができた。
• シミュレーション研究により、EMアルゴリズムが共同モデル下で信頼性高く収束し、一貫したパラメータ推定値を生成することが確認された。
• 共変量の異質性を組み込むことで、より正確な事後確率推定が可能となり、これによりグループ固有モデルへの適切な重み付けがなされ、予測性能が向上した。
• シミュレーション実験では、BICを用いたモデル選択により、グループ数の誤指定に対してもモデルが頑健であることが示された。