[論文レビュー] Big Data Analysis Using Shrinkage Strategies

Yuzbasi, B., ‎M‎ohammad Arashi+1 more|arXiv (Cornell University)|Apr 17, 2017

Statistical Methods and Inference参考文献 27被引用数 6

ひとこと要約

本稿では、高次元スパース線形モデルにおける予測精度を向上させるために、下適合（部分モデル）および過適合（全モデル）回帰推定値を、有界で可測な重み関数を用いて組み合わせる二重縮小推定器を提案する。この手法は、シミュレーションおよび実データ研究において、LASSO や適応的 LASSO などの他の縮小推定器を著しく上回り、弱いシグナルが存在する状況でも顕著な優位性を示す。

ABSTRACT

In this paper, we apply shrinkage strategies to estimate regression coefficients efficiently for the high-dimensional multiple regression model, where the number of samples is smaller than the number of predictors. We assume in the sparse linear model some of the predictors have very weak influence on the response of interest. We propose to shrink estimators more than usual. Specifically, we use integrated estimation strategies in sub and full models and shrink the integrated estimators by incorporating a bounded measurable function of some weights. The exhibited double shrunken estimators improve the prediction performance of sub models significantly selected from existing Lasso-type variable selection methods. Monte Carlo simulation studies as well as real examples of eye data and Riboavin data confirm the superior performance of the estimators in the high-dimensional regression model.

研究の動機と目的

• 予測変数の数が標本数を上回る高次元回帰モデルにおける予測精度の向上を目的とする。
• 標準的な変数選択手法に偏りをもたらす可能性があるスパース線形モデルにおける弱い影響をもつ予測子の課題に対処することを目的とする。
• 下適合モデルと過適合モデルからの推定値を統合する縮小戦略を構築し、予測誤差を低減することを目的とする。
• 既存の縮小手法を拡張し、縮小度合いを制御する有界で可測な関数を組み込むことにより、二重縮小の度合いを制御することを目的とする。
• 提案された推定器の性能を、シミュレーションおよび実世界の高次元データセットを用いて評価することを目的とする。

提案手法

• 本手法は、予測子の有界で可測な重み関数を用いて、部分モデル（下適合）と全モデル（過適合）からの推定値を組み合わせることで二重縮小推定器を構築する。
• 重み関数は、全モデル推定値を部分モデル推定値に収縮させるように設計されており、非心パラメータ Δ の凹関数によって収縮度合いが制御される。
• 具体的には、FS1、FS3、PS という推定器が提案され、特に FS3 は非心パラメータの二乗の指数関数に基づく重み関数を用いる。
• 性能評価のため、予測誤差（PE）および相対予測誤差（RPE）を計算するために、ブートストラップリサンプリングと 5 分割交差検証を用いる。
• 本手法は、眼の遺伝子発現データ（n=120, p=200）およびラクトフリビン産生データ（n=71, p=4088）の2つの実データセットに適用された。
• 追加で提案された推定器 FS2 は、過適合モデルに漸近的に収束する傾向があるため、特に Δ が小さい場合に他の推定器に劣ることが判明した。

実験結果

リサーチクエスチョン

• RQ1 有界な重み関数を介して下適合モデルと過適合モデルの推定値を統合することで、高次元回帰における予測精度が向上するか？
• RQ2 弱いシグナルが存在する状況で、提案された二重縮小推定器は LASSO や適応的 LASSO と比べてどのように性能を発揮するか？
• RQ3 弱いシグナルの影響の大きさ（Δ）が変化しても、二重縮小推定器の性能は一貫して頑健であるか？
• RQ4 実世界の高次元データセット（n が小さく p が大きい）において、提案された推定器はどのように性能を発揮するか？
• RQ5 縮小プロセスにおいて凹関数を用いることで、理論的または実証的な利点が得られるか？

主な発見

• 眼のデータセットでは、FS3 推定器が平均相対予測誤差（RPE = 1.0626）を達成し、LASSO（1.0598）や他の推定器を上回った。
• ラクトフリビンデータセットでは、FS3 の RPE は 1.0273 であり、PS（1.0225）や FS1（1.0222）をわずかに上回ったが、ALASSO はより低い RPE（0.9509）を示した。
• 弱いシグナルの大きさ（Δ）が増加するにつれて、ALASSO 推定器の RMSE はゼロに近づく一方、FS3 の RMSE は他の推定器よりも一貫して低く保たれた。
• シミュレーション結果から、Δ = 0 の場合に FS3 が FS1 や PS を常に上回ったことから、弱いシグナルの存在に対しても頑健であることが示された。
• 提案された FS2 推定器は、特に Δ が小さい場合に FS3 や PS に劣ることが判明した。これは、過適合モデルに漸近的に収束する傾向があるためである。
• 二重縮小戦略は、特に弱いおよび中程度のシグナルが存在する状況で、標準的な LASSO や適応的 LASSO よりも顕著に予測性能を向上させた。