[論文レビュー] Faithful Variable Screening for High-Dimensional Convex Regression

Min Xu, Minhua Chen+1 more|arXiv (Cornell University)|Nov 7, 2014

Statistical Methods and Inference参考文献 26被引用数 4

ひとこと要約

本稿では、滑らかさのチューニングパラメータを必要とせず、加法的モデリングと残差の凹型フィッティングを活用して、高次元凸回帰における忠実な変数スクリーニングを実現する2段階の二次計画法を提案する。この手法は、弱い仮定のもとで変数選択の一貫性を保証し、滑らかさのチューニングパラメータを避けることで、フルモデルフィッティングに比べて計算的・統計的優位性を有する。

ABSTRACT

We study the problem of variable selection in convex nonparametric regression. Under the assumption that the true regression function is convex and sparse, we develop a screening procedure to select a subset of variables that contains the relevant variables. Our approach is a two-stage quadratic programming method that estimates a sum of one-dimensional convex functions, followed by one-dimensional concave regression fits on the residuals. In contrast to previous methods for sparse additive models, the optimization is finite dimensional and requires no tuning parameters for smoothness. Under appropriate assumptions, we prove that the procedure is faithful in the population setting, yielding no false negatives. We give a finite sample statistical analysis, and introduce algorithms for efficiently carrying out the required quadratic programs. The approach leads to computational and statistical advantages over fitting a full model, and provides an effective, practical approach to variable screening in convex regression.

研究の動機と目的

• 凸性制約下での高次元非パラメトリック回帰における変数選択の課題に取り組む。
• スパース凸回帰における関連変数を識別するための計算効率的かつ統計的一致性を持つ手法を開発する。
• 滑らかさのチューニングパラメータを必要とするか、偽陰性を生じやすい既存手法の限界を克服する。
• 母集団および有限標本設定の両方において、変数選択の一貫性に関する理論的保証を確立する。
• 高次元において効果的に解ける凸二次計画問題を解くためのスケーラブルなアルゴリズムを提供する。

提案手法

• 2段階の二次計画法を定式化：まず、スパarsityペナルティを伴う凸加法的モデリングにより、1変数凸関数の和を推定する。
• 2段階目では、各変数について残差に対して1次元の凹型回帰を実行し、関連する成分を検出する。
• ブロック座標降下法を用いて、得られた凸最適化問題を効率的に解く。
• 最適化が有限次元的であり、平滑化パラメータのチューニングを必要としないことを保証する。
• 凸性の構造的性質を活用し、加法的モデルにおける忠実な適合性を実現する。これにより、加法的モデルにおける変数選択がすべての関連変数を保持する。
• 実データ（ボストン住宅データ）および相関構造を持つシミュレーション設定を用い、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 2段階の凸最適化手順は、滑らかさのチューニングパラメータを必要とせず、高次元凸回帰において偽陰性なしの忠実な変数選択を達成できるか？
• RQ2 共変数分布の弱い正則性条件のもとで、有限標本設定においてもこの手法が統計的一致性を維持するか？
• RQ3 滑らかさのチューニングパラメータを必要とせず、高次元設定においても効果的にスケーリング可能か？
• RQ4 予測精度および変数回復の観点から、LASSO や他のスパース加法モデルと比較して、この手法はどのように差をつけるか？
• RQ5 2段階構造（凸フィッティング followed by 残差の凹型フィッティング）は、忠実なスクリーニングにとって必要かつ十分か？

主な発見

• 提案手法は母集団設定において忠実な変数選択を達成し、共変数密度に関する弱い仮定のもとで偽陰性なしを保証する。
• 有限標本解析により、変数スクリーニングの一貫性の統計的レートが上界で抑えられ、実用的状況における信頼性を裏付ける。
• シミュレーションでは、設計行列における中程度の相関に対しても本手法の性能が良好であることが示され、相関レベルにかかわらず回復曲線が優れた性能を示す。
• ボストン住宅データでは、AC/DCはLASSOと同一の上位3変数（LSTAT, RM, PTRATIO）を選択し、より高い正則化レベルでは第4変数（INDUS）も同定する。
• 選択された変数を用いたリファittingモデルでは明確な非線形効果が観察され、PTRATIOについては凹型の形状が確認され、SpAMの結果と整合的であり、線形モデルでは捉えきれない。
• 交差検証の結果、AC/DCはLASSOより低い予測平均二乗誤差を達成し、平滑化パラメータや反復的最適化を必要としない点でAFRと同等の性能を示す。