[論文レビュー] Best-Subset Selection in Generalized Linear Models: A Fast and Consistent Algorithm via Splicing Technique

Junxian Zhu, Jin Zhu+4 more|arXiv (Cornell University)|Aug 1, 2023

Bayesian Modeling and Causal InferenceComputer Science被引用数 3

ひとこと要約

本稿では、一般化線形モデル（GLMs）におけるベストサブセット選択のための高速かつ一貫性のあるアルゴリズムABESSを提案する。スプライシング技術を用いて全組み合わせ探索を回避し、ややいなめの条件下で多項式時間計算量と正確なサポート回復を達成する。既存手法よりも計算速度と統計的精度の両面で優れており、glmnet や ncvreg よりも最大4倍の高速化を達成する。

ABSTRACT

In high-dimensional generalized linear models, it is crucial to identify a sparse model that adequately accounts for response variation. Although the best subset section has been widely regarded as the Holy Grail of problems of this type, achieving either computational efficiency or statistical guarantees is challenging. In this article, we intend to surmount this obstacle by utilizing a fast algorithm to select the best subset with high certainty. We proposed and illustrated an algorithm for best subset recovery in regularity conditions. Under mild conditions, the computational complexity of our algorithm scales polynomially with sample size and dimension. In addition to demonstrating the statistical properties of our method, extensive numerical experiments reveal that it outperforms existing methods for variable selection and coefficient estimation. The runtime analysis shows that our implementation achieves approximately a fourfold speedup compared to popular variable selection toolkits like glmnet and ncvreg.

研究の動機と目的

• 高次元GLMsにおけるベストサブセット選択の計算的非実行可能性と統計的不一致を解決すること。
• ややいなめの正則性条件の下で、多項式時間計算量と正確なサポート回復を達成するアルゴリズムの開発。
• 既存の緩和ベース手法（例：LASSO、SCAD、MCP）よりも、変数選択の正確性と係数推定の両面で優れるようにすること。
• ロジスティック回帰やポisson回帰を含むGLMsにおいて、サポート回復の一貫性と計算効率に関する理論的保証を確立すること。
• 実世界のデータサイエンス応用に向けた実用的でオープンソースの実装（abess）を提供すること。

提案手法

• ABESSアルゴリズムは、変数集合を統合・削除することで候補サブセットを反復的に構築するスプライシング技術を用い、すべての可能なサブセットを全列挙するのを避ける。
• カールシュ＝クーン＝タッカー（KKT）条件に基づくスクリーニングルールを採用し、探索の初期段階で無関係な変数を特定・除外する。
• 動的プルーニングを組み込んだ順次前方選択フレームワークを採用し、計算効率を確保する。
• 理論的分析により、サブ指数的尾部仮定を含むややいなめの正則性条件下で、高い確率でサポート回復の一貫性を達成することが保証される。
• 計算複雑度は、サンプルサイズ $ n $ と次元 $ p $ に対して多項式的にスケーリングする。これは定理3で証明されている。
• RおよびPythonでの実装を、オープンソースのabessパッケージを通じて提供し、広範な再現性と応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GLMsにおけるベストサブセット選択アルゴリズムは、高次元設定において計算的効率性と統計的一致性の両方を達成できるか？
• RQ2 スプライシングに基づくアプローチは、非正規分布の応答分布に対しても、多項式時間計算量と正確なサポート回復を実現できるか？
• RQ3 提案されたABESSアルゴリズムは、緩和ベース手法（例：LASSO、SCAD、MCP）と比較して、変数選択の正確性と推定誤差の両面で優れているか？
• RQ4 さまざまな相関構造において、ABESSの実効的実行時間は、glmnet や ncvreg などの最先端ツールキットと比較してどの程度か？
• RQ5 ABESSの理論的保証は、サブガウス型でない応答分布族（例：ポisson や二項分布）のGLMsへ拡張可能か？

主な発見

• ABESSは、$ ext{Pr}( ilde{m{eta}} = m{eta}^*) o 1 $ として、$ n o ty $ のとき高い確率で正確なサポート回復を達成する。定常相関構造下でも同様である。
• アルゴリズムは、特にロジスティック回帰やポisson回帰設定において、glmnet や ncvreg よりも最大4倍の高速化を達成する。
• $ n = 3000 $ の場合、ABESSはLASSO、SCAD、MCPをすべて上回り、最高の正確な選択確率 $ ext{Pr}( ilde{m{eta}} = m{eta}^*) $ を達成する。
• ABESSの $ ilde{L}_2 $-ノルム推定誤差（ReErr）は、すべてのサンプルサイズで一貫して最小であり、優れた係数推定精度を示す。
• 理論的分析により、サブ指数的尾部仮定の下で多項式時間計算量とサポート回復の一貫性が保証され、サブガウス型モデルを超えて拡張可能である。
• 実験的結果により、ABESSは独立および定常相関構造の両方において優れた性能を維持するが、競合手法は高相関下で性能が低下する。