[論文レビュー] Generalized Additive Model Selection

Alexandra Chouldechova, Trevor Hastie|arXiv (Cornell University)|Jun 11, 2015

Statistical Methods and Inference参考文献 9被引用数 60

ひとこと要約

GAMS ELは、高次元設定下でのスパース一般化線形加法モデルをフィッティングするための罰則付き尤度法であり、各予測子について、ゼロ効果、線形効果、非線形効果のいずれかを選択する。ブロックワイズ座標降下法を用いてチューニングパラメータのパスを最適化し、特に真の効果の一部が線形である場合に、変数選択において既存の手法を上回り、予測性能と解釈可能性を維持する。

ABSTRACT

We introduce GAMSEL (Generalized Additive Model Selection), a penalized likelihood approach for fitting sparse generalized additive models in high dimension. Our method interpolates between null, linear and additive models by allowing the effect of each variable to be estimated as being either zero, linear, or a low-complexity curve, as determined by the data. We present a blockwise coordinate descent procedure for efficiently optimizing the penalized likelihood objective over a dense grid of the tuning parameter, producing a regularization path of additive models. We demonstrate the performance of our method on both real and simulated data examples, and compare it with existing techniques for additive model selection.

研究の動機と目的

• 多くの予測子が不要または重複している高次元一般化線形加法モデルの課題に対処する。
• 各予測子について、ゼロ、線形、非線形効果のいずれかを適応的に選択する手法を開発し、線形関係が十分である場合には解釈可能性を保つ。
• 特に真の効果の一部が線形である場合に、SpAM や mgcv などの既存手法よりもモデル選択性能を向上させる。
• 正則化パスアプローチを用いて、スパース加法モデルのスケーラブルかつ効率的なフィッティングを可能にする。
• データ駆動の証拠に基づいて、ノンファーミナル、線形、加法的モデルの間を補間する統一フレームワークを提供する。

提案手法

• 尤度の負の対数尤度を、デバイアスと構造化されたペナルティ項を組み合わせた罰則付き目的関数として定式化する。
• チューニングパラメータの密集したグリッド上で、目的関数をブロックワイズ座標降下法で最適化し、完全な正則化パスを生成する。
• 平滑化スプラインを用い、線形成分と非線形成分を区別する複合ペナルティ構造を持つペナルティ行列を導入する。
• 非線形性と線形性の相対的なペナルティを制御するチューニングパラメータを組み込み、関数形のデータ駆動選択を可能にする。
• 立方スプラインと2階差分を用いて基底関数とペナルティ行列を構築し、滑らかさとスパarsityを強制する。
• Rパッケージ `gamsel` の `cv.gamsel` 関数を用いて交差検証を実装し、1標準誤差ルールを用いて最適なチューニングパラメータを選択する。

実験結果

リサーチクエスチョン

• RQ1 罰則付き尤度アプローチは、高次元一般化線形加法モデルにおいて、ゼロ、線形、非線形効果の間を効果的に選択できるか？
• RQ2 真の成分関数の一部が線形である場合、GAMS EL の変数選択性能は SpAM よりも優れているか？
• RQ3 GAMS EL は、ゼロ、線形、非線形効果の精度と再現率において、mgcv の自動項選択を上回っているか？
• RQ4 GAMS EL の正則化パスとブロックワイズ座標降下法アルゴリズムは、計算効率と正確性においてどのようにスケーリングされるか？
• RQ5 GAMS EL は、実データおよびシミュレートデータにおいて、複雑な非線形関係を捉えながらも、解釈可能性をどの程度維持できるか？

主な発見

• GAMS EL は mgcv の gam.selection よりも顕著に優れた変数選択を達成し、ゼロ対非ゼロの誤分類率が 0.25 にまで低下するのに対し、mgcv の手法では 0.44～0.51 の範囲にとどまる。
• GAMS EL は非ゼロ項の選択において 0.61 の高い精度を達成し、mgcv のあらゆる手法（0.32～0.44）を上回る。これは誤検出が少ないことを示している。
• γ = 0.4 の場合、GAMS EL は線形項の 86% を再現するが、mgcv の最良手法でも線形項の再現率は 52% にとどまる。
• GAMS EL はすべてのシミュレーションで非ゼロ項の再現率を 97% に維持しており、mgcv のあらゆるバリアントよりも高い精度を達成している。
• すべての効果が非線形である場合、GAMS EL は SpAM と同等の性能を発揮するが、一部の効果が線形である場合には著しく優れている。
• 100回のシミュレーションにおいて、GAMS EL の正則化パス全体を計算する平均時間は 3.1 秒であり、計算効率が優れていることが示された。