[論文レビュー] Sparse Additive Models

Pradeep Ravikumar, John Lafferty+2 more|ArXiv.org|Nov 28, 2007

Statistical Methods and Inference参考文献 20被引用数 7

ひとこと要約

この論文は、スパarsity誘導ペナルティと加法的非パラメトリックスムージングを組み合わせた高次元非パラメトリック回帰のためのSparse Additive Models (SpAM) を導入する。平滑化とスパarsityを分離することで、効率的なバックフィッティングアルゴリズムを可能にし、予測変数の数が標本サイズを上回る場合でも、スパarsityパターンの回復とリスク最小化の両方において理論的整合性を達成する。

ABSTRACT

We present a new class of methods for high-dimensional nonparametric regression and classification called sparse additive models (SpAM). Our methods combine ideas from sparse linear modeling and additive nonparametric regression. We derive an algorithm for fitting the models that is practical and effective even when the number of covariates is larger than the sample size. SpAM is closely related to the COSSO model of Lin and Zhang (2006), but decouples smoothing and sparsity, enabling the use of arbitrary nonparametric smoothers. An analysis of the theoretical properties of SpAM is given. We also study a greedy estimator that is a nonparametric version of forward stepwise regression. Empirical results on synthetic and real data are presented, showing that SpAM can be effective in fitting sparse nonparametric models in high dimensional data.

研究の動機と目的

• 予測変数の数 p が標本サイズ n を上回る高次元設定において非パラメトリックモデルを適合させるという課題に対処する。
• lassoのスパarsity原理を加法的非パラメトリックモデルに拡張し、関連する共変量の選択と滑らかで非パラメトリックな関数の推定を可能にする。
• 任意の非パラメトリックスムージング手法と l1 型ペナルティを組み合わせた、スケーラブルなバックフィッティングアルゴリズムを開発する。
• 高次元漸近的条件下での理論的整合性特性（sparsistence と persistence）を確立する。
• スパarsity制約を課した加法的非パラメトリックモデルに特化したグループ化lassoの関数的アナログを提供する。

提案手法

• 非パラメトリックスムージング手法を任意に許容しつつ、成分関数の係数の l1 ノルムの和をペナルティとする凸最適化問題として SpAM を定式化する。
• 非パラメトリックスムージング（例：カーネル、スプライン）を用いて各成分関数を繰り返し更新するバックフィッティングアルゴリズムを用い、l1 ペナルティによりスパarsityを維持する。
• 平滑化とスパarsityを分離し、標準的な非パラメトリック技術を用いて各成分関数を独立に推定した後、スパarsity誘導ペナルティを適用する。
• リンク関数と l1 正則化推定を用いた一般化加法モデルを通じて分類問題に適応する。
• 理論的基盤は、成分関数の再生核ヒルベルト空間（RKHS）構造と、経験過程制御のためのブレケットエントロピーに依存する。
• ガウス比較および集中不等式を用いて、推定誤差およびスパarsityパターン回復に関する高確率的バインドを導出する。

実験結果

リサーチクエスチョン

• RQ1 p > n の場合に、非パラメトリック加法的モデルにスパarsityを効果的に導入できるか？
• RQ2 提案されたバックフィッティングアルゴリズムは、高次元において真の非ゼロ成分関数の集合を一貫して回復できるか（sparsistence）？
• RQ3 推定モデルの予測リスクは、スパース加法的関数のクラスにおける最小リスクに確率的に収束するか（persistence）？
• RQ4 合成データおよび実世界の高次元データにおいて、この手法は実験的にどの程度の性能を示すか？
• RQ5 スパarsity制約付きフレームワーク内で、任意の非パラメトリックスムージング手法を理論的保証を損なわずに効果的に使用できるか？

主な発見

• SpAM は sparsistence を達成する：p_n = O(e^{n^ξ}) かつ ξ < 3/5 のとき、非ゼロ成分関数の推定サポートが確率的に真のサポートに収束する。
• SpAM は persistence を達成する：p_n = O(e^{n^ξ}) かつ ξ < 1 のとき、推定モデルの予測リスクがスパース加法的関数クラスにおける最小リスクに確率的に収束する。
• 平滑化とスパarsityの分離により、バックフィッティングアルゴリズムは p > n の場合でも計算的にスケーラブルかつ効果的である。
• 適切な正則性条件の下で、推定誤差は O_P(L_n^2 / n^{(1−ξ)/2}) のレートで減少することが理論的分析で示された。
• 合成データおよび実データにおける実験結果から、SpAM は関連する非パラメトリック成分を効果的に同定し、高次元設定においてベースライン手法を上回る性能を示した。
• スムージング手法が特定のエントロピーおよび集中条件を満たしていれば、その選択に強く依存せず、手法はロバストである。