[論文レビュー] Joint estimation of $K$ related regression models with simple $L_1$-norm penalties

Édouard Ollier, Vivian Viallon|arXiv (Cornell University)|Nov 6, 2014

Statistical Methods and Inference参考文献 24被引用数 6

ひとこと要約

本稿では、L1正則化を用いてK個の関連する回帰モデルを同時に推定するシンプルで実装可能な手法を提案する。問題は変換されたデータ上の重み付きラッソに再定式化され、標準的なパッケージ（例：glmnet）を用いて、線形・ロジスティック・ポisson回帰など多様なモデルに対して効率的な推定が可能になる。理論的オラクル性質を達成し、最先端手法と同等の強力な経験的性能を示す。

ABSTRACT

We propose a new approach, along with refinements, based on $L_1$ penalties and aimed at jointly estimating several related regression models. Its main interest is that it can be rewritten as a weighted lasso on a simple transformation of the original data set. In particular, it does not need new dedicated algorithms and is ready to implement under a variety of regression models, {\em e.g.}, using standard R packages. Moreover, asymptotic oracle properties are derived along with preliminary non-asymptotic results, suggesting good theoretical properties. Our approach is further compared with state-of-the-art competitors under various settings on synthetic data: these empirical results confirm that our approach performs at least similarly to its competitors. As a final illustration, an analysis of road safety data is provided.

研究の動機と目的

• 多様なデータタイプにわたる複数の関連する回帰モデルを統一的かつ容易に推定するための方法を開発すること。
• 問題を重み付きラッソに再定式化することで、glmnetなどの既存の標準パッケージを用いた効率的な計算を可能とすること。
• 漸近的オラクル挙動や初期の非漸近的結果を含む理論的性質を確立すること。
• さまざまな合成設定下で最先端手法と経験的に比較すること。
• ドライバー責任に関する専門家評価を含む道路安全データへの応用を通じて、実用的有用性を示すこと。

提案手法

• 各個々のモデル内でスパarsityを誘導するとともに、モデル間の類似性を促進するため、L1正則化を用いる。
• 連合推定問題を変換されたデータ行列上の重み付きラッソに再定式化し、標準的なソルバーの利用を可能にする。
• 係数行列B*の解が、ランク1行列とスパース行列の和であることが示される。
• 適応的および緩和型のバージョンが開発され、初期推定に基づく適応的重みを用いることで、変数選択の正確性が向上する。
• glmnet Rパッケージを介して、ロジスティック回帰・ポアソン回帰・コックス回帰などの一般化線形モデルへも拡張される。
• 一般化されたファズドラッソとの関連性と、既存のラッソ予測およびサポート回復に関する結果を用いて理論的性質が導出される。

実験結果

リサーチクエスチョン

• RQ1 シンプルなL1正則化アプローチが、強力な理論的・経験的性能を備えたK個の関連する回帰モデルを同時に推定できるか？
• RQ2 推定精度および変数選択の観点から、本手法は最先端のマルチタスク学習手法と比べてどのように差をつけるか？
• RQ3 本手法は、glmnetのような標準的で市販のソフトウェアを用いてどの程度実装可能か？
• RQ4 本手法の理論的性質、たとえばオラクル効率性やサポート回復とは何か？
• RQ5 適応的バージョンは、基本的な手法に比べて、変数選択および予測の観点でどの程度改善されるか？

主な発見

• 合成データ実験において、さまざまな設定下で本手法は最先端の競合手法と同等以上の性能を達成した。
• 本手法は、glmnetなどの標準Rパッケージを用いて実装可能であり、カスタムアルゴリズムを必要とせず、線形・ロジスティック・ポアソン・コックス回帰モデルへの応用が可能である。
• 適応的バージョンに対して漸近的オラクル性質が導出され、正則性条件の下で最適な推定および選択挙動を示す可能性がある。
• 初期の非漸近的結果が確立され、相関構造を持つ設計下での最近のラッソ理論を用いた拡張が可能である。
• 道路安全応用において、全18名の専門家がアルコール関連要因について一貫した評価を下しており、標準的なSAS STEPWISE手順の結果とも整合的であった。
• 本手法はダーティーモデルの簡略化されたバージョンであり、一部の設定ではより優れた標本複雑度を示す可能性がある。