[論文レビュー] Ensembles of Regularized Linear Models

Anthony-Alexander Christidis, Laks V. S. Lakshmanan+2 more|arXiv (Cornell University)|Dec 10, 2017

Statistical Methods and Inference参考文献 17被引用数 1

ひとこと要約

この論文は、個々のモデル内のスパarsityを促進し、アンサンブル全体での多様性を促進する共同目的関数を最適化することで、予測精度を向上させる、正則化線形モデルのための新しいアンサンブル手法を提案する。重複する特徴部分集合にベース推定器（例：Lasso、Elastic Net）をフィットさせつつ、モデルの多様性を促進することで、シミュレーションおよび実データにおいて、標準的な正則化回帰手法を凌駕する予測性能が得られる。

ABSTRACT

We propose an approach for building ensembles of regularized linear models by optimizing a novel objective function, that encourages sparsity within each model and diversity among them. Our procedure works on top of a given penalized linear regression estimator (e.g., Lasso, Elastic Net, SCAD) by fitting it to possibly overlapping subsets of features, while at the same time encouraging diversity among the subsets, to reduce the correlation between the predictions that result from each fitted model. The predictions from the models are then aggregated. For the case of an Elastic Net penalty and orthogonal predictors, we give a closed form solution for the regression coefficients in each of the ensembled models. An extensive simulation study and real-data applications show that the proposed method systematically improves the prediction accuracy of the base linear estimators being ensembled. Extensions to GLMs and other models are discussed.

研究の動機と目的

• アンサンブル化を活用することで、正則化線形モデルの予測精度を向上させること。
• 共有された特徴選択によって生じる高相関予測という、標準的な正則化推定器の限界を解消すること。
• 個々のモデルにおけるスパarsityとアンサンブル全体での多様性を同時に促進するフレームワークを構築すること。
• Lasso、Elastic Net、SCADを含む、さまざまなペナルティ回帰手法に一般化可能なアプローチを提供すること。
• 一般化線形モデル（GLMs）や他の指数型分布族モデルへの拡張を図ること。

提案手法

• 各モデル内のスパarsityとアンサンブルメンバー間の多様性をバランスさせる、新しい目的関数を最適化する。
• 重複する特徴部分集合にベースペナルティ回帰推定器（例：Elastic Net）を適用し、部分集合の選択を目的関数がガイドする。
• 直交する予測子とElastic Netの場合、各アンサンブルモデルの回帰係数について閉形式解が導出される。
• 個々のモデルの予測を平均化することで、最終的なアンサンブル予測を形成する。
• 最適化プロセス中に予測の相関が高くなるのを防ぐために、モデル間の多様性を促進するためのペナルティを課す。
• 適切な尤度に基づく最適化により、GLMs や他の指数型分布族モデルへの拡張が可能となる。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル化された正則化線形モデルは、個々の推定器を上回る予測精度を達成できるか？
• RQ2 各モデルにおけるスパarsityを維持しつつ、アンサンブル内のモデル多様性を体系的に促進する方法は何か？
• RQ3 高次元設定下で、重複する特徴部分集合がアンサンブル性能に与える影響は何か？
• RQ4 提案手法は、Lasso や Elastic Net といった標準的な正則化技術を上回る性能を達成するか？
• RQ5 この手法は、線形回帰を越えて、GLMs などのモデルへどの程度一般化可能か？

主な発見

• 提案されたアンサンブル手法は、複数のシミュレーション設定において、ベースとなる正則化推定器よりも一貫して高い予測精度を達成する。
• アンサンブルメンバー間の予測相関を低減することで、標準的な Lasso、Elastic Net、SCAD よりも高い予測精度を達成する。
• 直交する予測子と Elastic Net の場合、閉形式解が得られ、モデル係数の計算が効率的に行える。
• 実データに対する実証的結果から、アンサンブル手法が個々の正則化モデルよりも予測誤差が小さいことが示された。
• 特徴の重複に対して頑健であり、特徴数が標本サイズを上回る場合でも強力な性能を維持する。
• GLMs への拡張が実現可能かつ有効であることが示され、この手法の適用範囲が多様な統計的モデリングタスクに広がることが分かった。