[論文レビュー] Trace Lasso: a trace norm regularization for correlated designs

Édouard Grave, Guillaume Obozinski+1 more|arXiv (Cornell University)|Sep 9, 2011

Statistical Methods and Inference参考文献 24被引用数 58

ひとこと要約

本稿では、相関のある共変量を伴う高次元線形モデルにおける推定の安定性を段階的に高めるために、重み付き設計行列のトレースノルムを用いる新しい正則化手法、トレースラッソを提案する。相関構造を活用して、必要な箇所にのみ強い凸性を適用することで、強い相関を持つ合成実験において、ラッソ、エラスティックネット、グループラッソを凌駕する。特にブロック対角型およびトーペリッツ型の設計において顕著な優位性を示す。

ABSTRACT

Using the $\ell_1$-norm to regularize the estimation of the parameter vector of a linear model leads to an unstable estimator when covariates are highly correlated. In this paper, we introduce a new penalty function which takes into account the correlation of the design matrix to stabilize the estimation. This norm, called the trace Lasso, uses the trace norm, which is a convex surrogate of the rank, of the selected covariates as the criterion of model complexity. We analyze the properties of our norm, describe an optimization algorithm based on reweighted least-squares, and illustrate the behavior of this norm on synthetic data, showing that it is more adapted to strong correlations than competing methods such as the elastic net.

研究の動機と目的

• 高次元設定における共変量の相関が強い場合のラッソの不安定性を解消すること。
• グループ構造に関する事前知識を必要とせずに、設計行列の相関構造に適応する正則化手法の開発。
• 相関の存在下でもランダムな変数選択を回避する凸的で安定したラッソの代替手法の提供。
• 相関のある設計状況において、エラスティックネットやグループラッソを凌駕する、適応的正則化による性能向上。

提案手法

• トレースラッソペナルティは、設計行列と係数の対角行列の積のトレースノルムとして定義され、すなわち $\|\mathbf{X} \operatorname{Diag}(\mathbf{w})\|_*$ である。
• 最適化問題を解くために、再重み付け最小二乗法が用いられ、計算が効率的に行える。
• ペナルティはランク最小化の凸的サrogateとして導出され、相関する変数のグループ化を促進する。
• 理論的分析により、トレースノルムペナルティの2次近似が、ペairwiseエラスティックネットペナルティと類似した振る舞いを示し、相関する係数の互いへの縮小を促進することが示された。
• 実証的相関に基づいて、$\ell_1$ と $\ell_2$ 正則化の間を滑らかに補間するように設計されている。
• ペナルティが一意に最小化され、最適化問題が適切に定式化されていることが示された。

実験結果

リサーチクエスチョン

• RQ1 相関する共変量の存在下で、係数推定の安定性を段階的に高める凸的正則化ペナルティを設計できるか？
• RQ2 強い相関下で、トレースラッソはラッソやエラスティックネットと比べて推定精度に優れているか？
• RQ3 事前の構造的知識がなくとも、トレースラッソは相関する変数を自動的に検出し、グループ化できるか？
• RQ4 相関のない状況では、トレースラッソの性能はラッソに比べてどの程度劣化するか？
• RQ5 トレースラッソは、相関構造を組み込んだエラスティックネットの自然な拡張と解釈できるか？

主な発見

• 無相関設計（単位行列共分散）では、実証的相関による弱い結合のため、トレースラッソはラッソにわずかに劣るが、安定性は保たれている。
• 8つの高相関変数がクラスタを形成するブロック対角設計では、トレースラッソはラッソ、エラスティックネット、ペアワイズエラスティックネットを著しく上回る。
• 長距離相関を持つトーペリッツ設計では、トレースラッソは他の手法と比較して優れた推定誤差を達成する。
• トレースノルムペナルティの2次近似は、相関する係数を互いに近づける縮小を誘導することが示され、ペアワイズエラスティックネットペナルティと類似した性質を持つ。
• トレースラッソの性能は、頑健かつ適応的である：低相関状態ではラッソに近く、高相関状態ではグループ正則化手法に近い振る舞いを示す。
• 正則化に相関構造を組み込むことで、手動でのグループ定義が不要なまま、推定の安定性と精度が向上することを実証した。