[論文レビュー] Probabilistic Best Subset Selection by Gradient-Based Optimization

Mingzhang Yin, Nhat Ho+3 more|arXiv (Cornell University)|Jun 11, 2020

Sparse and Compressive Sensing Techniques参考文献 63被引用数 5

ひとこと要約

本論文は、再パラメータライゼーションを用いて離散的変数選択問題を連続的確率的枠組みに再定式化することで、正確な $L_0$-正則化回帰（ベストサブセット選択）の勾配ベース最適化手法を提案する。不偏勾配推定器を導入し、信号対ノイズ比が最適であるため、数千の共変数からなる高次元データにおいて、数秒で真のスパースモデルを高速かつ正確に回復可能であり、従来のペナルティ法および混合整数法を上回る変数選択と予測性能を示す。

ABSTRACT

In high-dimensional statistics, variable selection is an optimization problem aiming to recover the latent sparse pattern from all possible covariate combinations. In this paper, we propose a novel optimization method to solve the exact $L_0$-regularized regression problem (a.k.a. best subset selection). We reformulate the optimization problem from a discrete space to a continuous one via probabilistic reparameterization. Within the framework of stochastic gradient descent, we propose a family of unbiased gradient estimators to optimize the $L_0$-regularized objective and a variational lower bound. Within this family, we identify the estimator with a non-vanishing signal-to-noise ratio and uniformly minimum variance. Theoretically, we study the general conditions under which the method is guaranteed to converge to the ground truth in expectation. In a wide variety of synthetic and semi-synthetic data sets, the proposed method outperforms existing variable selection methods that are based on penalized regression and mixed-integer optimization, in both sparse pattern recovery and out-of-sample prediction. Our method can find the true regression model from thousands of covariates in a couple of seconds. a

研究の動機と目的

• 従来の手法では計算的に非現実的である高次元回帰における正確なベストサブセット選択の課題に対処すること。
• 離散的 $L_0$-正則化最適化問題を勾配ベース最適化に適した連続的で微分可能な形に再定式化すること。
• 効率的な最適化を可能にする、不偏勾配推定器の開発を目的とし、分散が最小でノイズ比が消失しない特性を有する。
• 一般条件のもとで真のスパースモデルへの理論的収束保証を確立すること。
• 既存手法と比較して、スパースパターン回復および予測性能の両面で優れた実験的性能を示すこと。

提案手法

• 二値選択変数を連続的潜在空間に写像するため、確率的再パラメータライゼーションを用いて離散的 $L_0$-正則化回帰問題を再定式化する。
• 確率的勾配降下法（SGD）を用いて、$L_0$-正則化目的関数および変分下界の両方を最適化する。
• 再パラメータライズド目的関数のための不偏勾配推定器の族を導入し、その中で信号対ノイズ比が最適で分散が最小となる推定器を特定する。
• コントリート再パラメータライゼーションや類似の確率的再パラメータライゼーション技術を用いて、二値選択インジケーターの連続的緩和を行う。
• 真のモデルサブセットの事後分布を近似するために、変分下界を最適化する。
• 勾配推定器が不偏であり、安定した学習を可能にするために信号対ノイズ比が消失しないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 離散的 $L_0$-正則化問題の連続的で微分可能な緩和が、勾配降下法による効率的かつ正確なベストサブセット選択を可能にするか？
• RQ2 提案された推定器族の中で、バイアスと分散のトレードオフを最良に満たし、特に信号対ノイズ比が消失しないのはどれか？
• RQ3 どのような一般条件下で、この手法が期待値として真のスパースモデルに収束するか？
• RQ4 変数選択の正確性および予測性能の観点から、ペナルティ法および混合整数最適化と比較して、本手法はどのように異なるか？
• RQ5 数千の共変数を含む高次元設定においても、速度と正確性を維持できるか？

主な発見

• 提案手法は、数千の共変数からなるデータにおいて、数秒で真のスパース回帰モデルを回復でき、高い計算効率を示した。
• 合成および準合成データセットにおいて、ペナルティ法および混合整数最適化手法と比較して、スパースパターン回復の性能が顕著に優れた。
• 予測性能の観点からも、他の手法を上回る高い外挿予測精度を達成した。
• 理論的分析により、一般条件下で真のモデルへの期待値収束を確立し、一貫性を裏付けた。
• 特定された勾配推定器は、一様に最小分散かつ信号対ノイズ比が消失しない特性を有し、安定した最適化を可能にした。
• 従来のベストサブセット選択が計算的に非現実的である高次元設定においても、本手法は効果的に機能した。