[論文レビュー] Regression shrinkage and grouping of highly correlated predictors with HORSES

Woncheol Jang, Johan Lim+3 more|arXiv (Cornell University)|Feb 1, 2013

Statistical Methods and Inference参考文献 15被引用数 4

ひとこと要約

この論文は、正の相関構造を活用して同時に変数選択と高相関予測子のグループ化を実行する新しい正則化手法HORSESを提案する。L1正則化と係数の対ごとの差のL1ノルムを組み合わせたハイブリッドL1ペナルティを用い、スパarsityと正の相関を持つ変数のクラスタリングを促進する六角形の制約領域を形成する。低次元および高次元データにおいて、予測精度とモデルの簡潔さの両面で既存手法を上回る。

ABSTRACT

Identifying homogeneous subgroups of variables can be challenging in high dimensional data analysis with highly correlated predictors. We propose a new method called Hexagonal Operator for Regression with Shrinkage and Equality Selection, HORSES for short, that simultaneously selects positively correlated variables and identifies them as predictive clusters. This is achieved via a constrained least-squares problem with regularization that consists of a linear combination of an L_1 penalty for the coefficients and another L_1 penalty for pairwise differences of the coefficients. This specification of the penalty function encourages grouping of positively correlated predictors combined with a sparsity solution. We construct an efficient algorithm to implement the HORSES procedure. We show via simulation that the proposed method outperforms other variable selection methods in terms of prediction error and parsimony. The technique is demonstrated on two data sets, a small data set from analysis of soil in Appalachia, and a high dimensional data set from a near infrared (NIR) spectroscopy study, showing the flexibility of the methodology.

研究の動機と目的

• 高次元回帰設定における高相関予測子の選択とグループ化の課題に対処すること。
• 負の相関を持つ予測子を含めない、正の相関のみをクラスタリングする手法を開発すること。
• L1正則化と対間係数差ペナルティを組み合わせることで、スパarsityと予測精度の両方を達成すること。
• 特にp > nの状況においても計算的に効率的なアルゴリズムの開発を図ること。
• シミュレーションと実世界のデータ応用を通じて、手法の柔軟性と優位性を示すこと。

提案手法

• HORSESは、係数のL1ノルムと対間係数差のL1ノルムを組み合わせたペナルティ関数を用いた制約付き最小二乗問題を解く。
• ペナルティはα∑|βj| + (1−α)∑|βj−βk|として定義され、αはスパarsityとグループ化のバランスを制御する。
• 制約領域は係数空間において六角形の形状を取り、正の相関を持つ予測子に対して等しい係数値を促進する。
• αの下限d⁻¹を設定することでスパarsityを確保し、d=√pを推奨してElastic Netと整合性を保つ。
• 高次元データ（p > n）への応用を可能にするため、効率的な最適化アルゴリズムが開発された。
• モデルの適合と複雑さのバランスを図るため、交差検証または情報基準を用いてチューニングパラメータαとtを選択する。

実験結果

リサーチクエスチョン

• RQ1 正の相関を持つ予測子のみを効果的にグループ化しつつ、高次元回帰におけるスパarsityを維持できる正則化手法は存在するか？
• RQ2 HORSESは、LASSO、Elastic Net、OSCARといった既存手法と比較して、予測誤差とモデルの簡潔さの両面で優れているか？
• RQ3 HORSESにおける六角形の制約領域は、他の正則化形状と比較して、より解釈可能で均一性の高い予測子クラスタをもたらすか？
• RQ4 HORSESはp > nの高次元データに対しても、計算効率性と統計的一致性を維持できるか？
• RQ5 遺伝子データや神経画像解析データのように、相関を持つ予測子が空間的連続性を持たない場合でも、この手法は頑健か？

主な発見

• シミュレーション研究において、HORSESはLASSO、リッジ回帰、Elastic Net、OSCARと比較して予測誤差を顕著に低減した。
• より少ない数の、より一貫性のある正の相関を持つ予測子のグループを選択することで、高いスパarsityを達成した。
• 近赤外分光法データでは、HORSESが化学組成に関連する生物学的に意味のある波長クラスタを効果的に同定した。
• アパラチアン土壌データにおいても、HORSESは予測精度とグループの均一性の両面で競合手法を上回った。
• 理論的分析により、αの下限を設定することで非一意解の問題を回避でき、スパarsityが保証されることを確認した。
• 空間的連続性がない相関予測子の状況でも、HORSESは頑健であることが示され、空間構造に依存しない柔軟性が顕著になった。