[論文レビュー] Positive-shrinkage and Pretest Estimation in Multiple Regression: A Monte Carlo study with Applications

SM Enayetur Raheem, S. Ejaz Ahmed|arXiv (Cornell University)|Sep 12, 2011

Advanced Statistical Methods and Models参考文献 13被引用数 4

ひとこと要約

本稿は、無関係な共変数に関する事前情報が不確実な状況下で、正の縮小推定と事前検定推定の多重線形回帰における性能を比較する。モンテカルロシミュレーションおよび実データを用いた分析により、正の縮小推定は、事前情報の不確実性の程度が変化しても安定した性能を維持し、特に余分な共変数のサブセットが大きい場合には、事前検定推定および制限なし推定を上回ることを示している。

ABSTRACT

Consider a problem of predicting a response variable using a set of covariates in a linear regression model. If it is \emph{a priori} known or suspected that a subset of the covariates do not significantly contribute to the overall fit of the model, a restricted model that excludes these covariates, may be sufficient. If, on the other hand, the subset provides useful information, shrinkage method combines restricted and unrestricted estimators to obtain the parameter estimates. Such an estimator outperforms the classical maximum likelihood estimators. Any \emph{prior} information may be validated through preliminary test (or pretest), and depending on the validity, may be incorporated in the model as a parametric restriction. Thus, pretest estimator chooses between the restricted and unrestricted estimators depending on the outcome of the preliminary test. Examples using three real life data sets are provided to illustrate the application of shrinkage and pretest estimation. Performance of positive-shrinkage and pretest estimators are compared with unrestricted estimator under varying degree of uncertainty of the prior information. Monte Carlo study reconfirms the asymptotic properties of the estimators available in the literature.

研究の動機と目的

• 無関係な共変数に関する事前情報が不確実な状況下で、正の縮小推定と事前検定推定の多重回帰における性能を評価すること。
• 事前情報の不確実性の程度が変化する条件下で、これらの推定法を制限なし最尤推定と比較すること。
• モンテカルロシミュレーションを用いて、モデル不適合の下でのこれらの推定法のロバストネスを評価すること。
• 異なる共変数構造を持つ3つの実データ例を通じて、実用的適用性を示すこと。
• 真のパラメータ値が制限モデル仮定から逸脱する場合の推定法の相対的リスク性能を調査すること。

提案手法

• 一部の共変数が事前に非情報的であると仮定する線形回帰モデルを用い、制限モデルを構築する。
• 正の縮小推定は、制限なし推定と制限モデル推定を縮小係数で組み合わせることで実行され、負の係数推定を回避する。
• 事前検定推定は、部分共変数の係数がゼロである帰無仮説を検定するための事前F検定に基づき、制限モデル推定と制限なし推定のどちらを選ぶかを決定する。
• パラメータΔで定量化される帰無仮説からの逸脱の程度を変化させたモンテカルロシミュレーションを実施し、リスク性能を評価する。
• モデル不適合下での性能を評価するために、推定法の相対的平均二乗誤差（RMSE）を制限なし推定法と比較して算出する。
• 実データセットに対して繰り返し交差検証を実施し、予測誤差を推定し、推定法の性能を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 事前情報の不確実性の程度が変化する条件下で、正の縮小推定と事前検定推定は制限なし推定と比べてリスク性能でどのように異なるか？
• RQ2 真のパラメータ値が制限モデルから逸脱する場合（Δ > 0）、制限モデル推定、事前検定推定、正の縮小推定の挙動はいかなるものか？
• RQ3 余分な共変数サブセットのサイズが、推定法の相対的性能にどのように影響するか？
• RQ4 事前情報が誤りである場合、どのような条件下で正の縮小推定が事前検定推定を上回るのか？
• RQ5 既知または疑わしい無関係な共変数を含む実データ応用において、これらの推定法はどのように性能を示すか？

主な発見

• 事前情報が正しい場合（Δ = 0）、漸近的理論に従い、制限モデル推定が制限なし推定を上回る。
• Δが増加する（真のパラメータが制限モデルから逸脱する）につれて、制限モデル推定のリスクは無限大に発散する。
• Δが増加するにつれて、事前検定推定のリスクは制限モデル推定のリスクを上回り、モデル不適合下では無限大に発散する。
• 正の縮小推定は、最も安定したリスク性能を示し、Δが増加するにつれてリスクが最もゆっくり減少し、代替パラメータ空間の広い範囲で低リスクを維持する。
• 余分な共変数サブセットが大きい場合、正の縮小推定は、RMSEの観点から、事前検定推定および制限なし推定を一貫して上回る。
• 実データ応用においては、モデルが正しく指定されている場合には、事前検定および制限モデル推定が優れた予測誤差性能を示すが、モデル不適合下ではその性能は急激に劣化する一方、正の縮小推定はそのような劣化を示さない。