[論文レビュー] Nonparametric and Varying Coefficient Modal Regression

Weixin Yao, Sijia Xiang|arXiv (Cornell University)|Feb 22, 2016

Advanced Statistical Methods and Models参考文献 19被引用数 6

ひとこと要約

本稿では、局所多項回帰推定を用いた非パラメトリックなモーダル回帰を導入し、歪んだ分布や裾の重い分布下でもロバストで効率的な予測を可能にする条件付き応答分布のモードをモデル化する。漸近的性質を確立し、変動係数モデルへの拡張も行い、シミュレーションおよび実際の医療費データにおいて、平均回帰や中央値回帰よりも優れた性能を示した。

ABSTRACT

In this article, we propose a new nonparametric data analysis tool, which we call nonparametric modal regression, to investigate the relationship among interested variables based on estimating the mode of the conditional density of a response variable Y given predictors X. The nonparametric modal regression is distinguished from the conventional nonparametric regression in that, instead of the conditional average or median, it uses the "most likely" conditional values to measures the center. Better prediction performance and robustness are two important characteristics of nonparametric modal regression compared to traditional nonparametric mean regression and nonparametric median regression. We propose to use local polynomial regression to estimate the nonparametric modal regression. The asymptotic properties of the resulting estimator are investigated. To broaden the applicability of the nonparametric modal regression to high dimensional data or functional/longitudinal data, we further develop a nonparametric varying coefficient modal regression. A Monte Carlo simulation study and an analysis of health care expenditure data demonstrate some superior performance of the proposed nonparametric modal regression model to the traditional nonparametric mean regression and nonparametric median regression in terms of the prediction performance.

研究の動機と目的

• 予測子に対して応答変数の条件付きモードを推定する非パラメトリック手法を開発し、モード関数にパラメトリックな仮定を課さない。
• 平均や中央値ではなく「最も起こりやすい値」（モード）に注目することで、回帰における予測精度とロバスト性を向上させる。
• 高次元データや関数データの文脈において、より柔軟性を高めるために変動係数構造への拡張を図る。
• 正則性条件の下で、提案された推定量の漸近的性質（バイアスと分散）を確立する。
• 実データ応用に向けた実装を可能にする実用的な推定アルゴリズム（EM型手順を含む）を提供する。

提案手法

• モードが核平滑化された条件付き密度の最大化点として特定されるように、局所多項回帰を用いて条件付きモードを推定する。
• 予測子と応答のためのバンド幅 $ h_1 $ と $ h_2 $ を用いた、二段階の核密度推定量を用いて、連合密度 $ f(x,y) $ を推定する。
• 収束性と安定性を向上させるために、繰り返しモードと関連パrameterの推定量を更新するEM型アルゴリズムを採用する。
• 正則性条件の下で、テイラー展開と確率的近似を用いて推定量の漸近的バイアスと分散の式を導出する。
• 局所多項回帰アプローチを用いて、モードおよびその微分を推定し、モード関数の形状に関する推論を可能にする。
• モード関数が柔軟な非パラメトリック係数関数を通じて予測子に依存するようにすることで、変動係数モーダル回帰モデルを拡張する。

実験結果

リサーチクエスチョン

• RQ1 歪んだ分布や裾の重い誤差分布下で、従来の平均回帰や中央値回帰と比較して、非パラメトリックなモーダル回帰が予測精度において優れているかどうか。
• RQ2 局所多項回帰推定量の漸近的性質（バイアス、分散、一貫性）は何か。
• RQ3 高次元データや関数データの文脈において、モーダル回帰モデルを変動係数構造に拡張する方法は何か。
• RQ4 モデルの誤指定下で、提案された推定量の有限標本性能は平均回帰や中央値回帰と比較してどうか。
• RQ5 提案されたEM型アルゴリズムは、収束保証付きで、複雑なデータ設定下でもモード関数を信頼性高く推定できるか。

主な発見

• モンテカルロシミュレーションにより、歪んだ誤差分布下で、提案された非パラメトリックなモーダル回帰推定量が平均回帰や中央値回帰よりも低い予測誤差を達成した。
• 推定量の漸近的バイアスと分散が導出され、バイアスが条件付き密度の2階および3階微分とバンド幅の選択に依存することが示された。
• 推定量の漸近的分布は正規分布であり、分散は $ 1/(n h_1 h_2^3) $ に比例するため、バンド幅選択による収束速度に依存することがわかった。
• 変動係数モーダル回帰モデルは、高次元データにおける複雑な非線形関係をうまく捉え、パラメトリックな代替手法よりもモデル適合度と予測精度が向上した。
• 医療費データに対する実データ分析では、外れ値や歪度が存在する状況でも、モーダル回帰が平均回帰よりもロバストで正確な予測を提供した。
• EM型アルゴリズムは、特に高次元または複雑なデータ設定下で、モード関数の推定における数値的安定性と収束速度を向上させた。