[論文レビュー] Generalized Sparse Additive Models

Asad Haris, Noah Simon+1 more|PubMed|Mar 11, 2019

Statistical Methods and Inference参考文献 9被引用数 8

ひとこと要約

本稿は、lassoと同等の計算効率を持つ近接勾配アルゴリズムを用いて、構造誘導型およびスパarsity誘導型のペナルティを統合する、高次元一般化スパース加法モデル（GSAM）の統一フレームワークを提案する。弱い適合性条件の下で最小最大最適収束速度を確立し、スパarsityと構造ペナルティの最適な関係から、交差検証を1つのチューニングパラメータのみで行えることを示している。

ABSTRACT

We present a unified framework for estimation and analysis of generalized additive models in high dimensions. The framework defines a large class of penalized regression estimators, encompassing many existing methods. An efficient computational algorithm for this class is presented that easily scales to thousands of observations and features. We prove minimax optimal convergence bounds for this class under a weak compatibility condition. In addition, we characterize the rate of convergence when this compatibility condition is not met. Finally, we also show that the optimal penalty parameters for structure and sparsity penalties in our framework are linked, allowing cross-validation to be conducted over only a single tuning parameter. We complement our theoretical results with empirical studies comparing some existing methods within this framework.

研究の動機と目的

• スパarsityと滑らかさの制約を満たす高次元一般化加法モデルを推定する、一般的で計算効率の良いフレームワークの開発。
• 高次元設定における計算スケーラビリティと統計的収束性の点で、既存手法のギャップを解消すること。
• SpAM、トレンドフィルタリング、Sobolevペナルティ付きモデルなどの多様な既存手法を、1つの理論的・アルゴリズム的枠組みに統合すること。
• 弱い適合性条件の下で、提案された推定量クラスの最小最大最適収束速度を確立すること。
• スパarsityと構造ペナルティの最適ペナルティパラメータが関連していることを示し、2つのチューニングパラメータではなく1つのパラメータでの交差検証が可能になるようにすること。

提案手法

• 推定を、負の対数尤度損失と構造誘導型・スパarsity誘導型ペナルティを組み合わせた凸最適化問題として定式化する。
• 加速化された近接勾配降下法を用いて最適化問題を解き、反復的に1変量のペナルティ付き最小二乗問題に還元する。
• 反復ごとの計算量がO(np)に抑えられ、最先端のlassoソルバと同等のスケーラビリティを達成し、数千の特徴量と観測値に対してもスケーラブルである。
• Sobolev、Hölder、全変動、および再生核ヒルベルト空間（RKHS）ノルムを含む広範な構造ペナルティクラスをサポートする。
• 理論的分析により、収束速度がmax(s log p / n, s ξₙ)のオーダーで達成されることを示し、sは有効な特徴量の数、ξₙは1変量の最小最大レートである。
• スパarsityと構造ペナルティの最適チューニングパラメータが数学的に関連していることを証明し、1つのパラメータでの交差検証が可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 スパarsityと滑らかさの両方の制約を満たす高次元一般化加法モデルを推定する統一フレームワークを開発できるか？
• RQ2 提案されたアルゴリズムは、lassoソルバと同等の計算効率を達成しながらも、統計的最適性を維持できるか？
• RQ3 弱い適合性条件の下、およびそれ以上の条件下で、提案された推定量の最小最大収束速度は何か？
• RQ4 構造ペナルティとスパarsityペナルティはどのように相互作用するか？この相互作用を活用してチューニングパラメータの数を減らせるか？
• RQ5 本フレームワークは、SpAM、トレンドフィルタリング、Sobolevペナルティ付きモデルなどの既存手法を統合・一般化できるか？

主な発見

• 提案された近接勾配アルゴリズムは、反復ごとの計算量がO(np)に抑えられ、数千の特徴量と観測値を持つ高次元データに対しても効率的なスケーリングを実現する。
• 弱い適合性条件の下で、収束速度がmax(s log p / n, s ξₙ)のオーダーで最小最大最適性を達成する。ここで、ξₙ = n^(-2m/(2m+1)) であり、m次のSobolevまたはHölderペナルティの場合に該当する。
• 適合性条件を満たさない場合でも、収束速度がs ξₙのオーダーで達成され、弱い仮定に対してもロバストであることが示された。
• スパarsityと構造ペナルティの最適ペナルティパラメータは数学的に関連しており、2つのパラメータではなく1つのパラメータでの交差検証が可能である。
• 実験的検証では、0次、1次、2次トレンドフィルタリングがさまざまなシナリオで同等に優れた性能を示し、特に区分的定数関数の設定では0次が顕著に優れた性能を示した。
• 実データの住宅価格分析において、0次トレンドフィルタリング（TF-0）が最小のテスト誤差と最高の真正陽性率（10％未満のFPR下）を達成し、lasso や SpAM など他の手法を上回った。