[論文レビュー] When is best subset selection the "best"?

Jianqing Fan, Yongyi Guo+1 more|arXiv (Cornell University)|Jul 3, 2020

Statistical Methods and Inference参考文献 27被引用数 4

ひとこと要約

本稿は、ベストサブセット選択（BSS）が最適なモデル回復を達成する条件、特にオракル推定子を生成するか、確実なスクリーニング性を達成する条件を特定する。本稿は、反復的ハードスレッショーディング（IHT）が近似的に最適なスパースモデルを効率的に特定できることを示し、このセット内で第二のBSSステップを実行することで真のモデルが回復され、シミュレーションおよび実データにおいてLASSO、SCAD、SISを上回る性能を示す。特に、誤発見率が低く、真正陽性率が高い。

ABSTRACT

Best subset selection (BSS) is fundamental in statistics and machine learning. Despite the intensive studies of it, the fundamental question of when BSS is truly the best, namely yielding the oracle estimator, remains partially answered. In this paper, we address this important issue by giving a weak sufficient condition and a strong necessary condition for BSS to exactly recover the true model. We also give a weak sufficient condition for BSS to achieve the sure screening property. On the optimization aspect, we find that the exact combinatorial minimizer for BSS is unnecessary: all the established statistical properties for the best subset carry over to any sparse model whose residual sum of squares is close enough to that of the best subset. In particular, we show that an iterative hard thresholding (IHT) algorithm can find a sparse subset with the sure screening property within logarithmic steps; another round of BSS within this set can recover the true model. The simulation studies and real data examples show that IHT yields lower false discovery rates and higher true positive rates than the competing approaches including LASSO, SCAD and SIS.

研究の動機と目的

• ベストサブセット選択（BSS）が真のモデルを正確に回復する、すなわちオラクル性質を達成する条件を特定すること。
• BSSが真のモデルを生成するための弱い十分条件および強い必要条件を確立すること。
• BSSが確実なスクリーニング性を達成する条件を特定すること。
• BSSにおける正確な組み合わせ的最小化子が統計的最適性に必要でないことを示すこと。
• IHTとBSSを組み合わせた効率的な二段階手法を提案し、その妥当性を検証することにより、モデル選択性能の向上を図ること。

提案手法

• BSSが真のモデルを正確に回復するための弱い十分条件および強い必要条件を導出すること。
• 任意のスパースモデルが、ベストサブセットの残差平方和（RSS）に近い場合、同じ統計的性質を有することを提唱する概念を導入すること。
• 反復的ハードスレッショーディング（IHT）アルゴリズムを提案し、対数的ステップ数で確実なスクリーニング性を有するスパースモデルに収束させること。
• IHTで選択されたモデルに対して第二のBSSステップを適用し、真のモデルを回復すること。
• シミュレーションスタディおよび実データ例を用いて、IHT-BSSがLASSO、SCAD、SISと比較して誤発見率および真正陽性率の観点でどのように性能を発揮するかを評価すること。
• RSSが最適値に十分に近い限り、BSSの統計的性質が保持されることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 ベストサブセット選択が真のモデルを正確に回復する条件は何か？
• RQ2 ベストサブセット選択が確実なスクリーニング性を達成する条件は何か？
• RQ3 BSSにおける正確な組み合わせ的最小化子は、最適な統計的性能を達成するために必要か？
• RQ4 反復的ハードスレッショーディング（IHT）は、その後のBSSが真のモデルを回復できるようなモデルサブセットを効率的に特定できるか？
• RQ5 IHT-BSS二段階手法は、LASSO、SCAD、SISと比較して、誤発見率および真正陽性率の観点でどのように異なるか？

主な発見

• 弱い十分条件（設計行列および信号強度に関する）を満たせば、ベストサブセット選択はオラクル推定子を達成する。
• 真のモデルの正確な回復のための強い必要条件が導出され、BSS性能の理論的境界が提供される。
• 確実なスクリーニング性のための弱い十分条件が確立され、真のモデルが選択されたサブセットに含まれることが保証される。
• BSSにおける正確な組み合わせ的最小化子は必要ではなく、ベストサブセットのRSSに近い任意のスパースモデルは、同じ統計的性質を有する。
• 反復的ハードスレッショーディング（IHT）は、対数的ステップ数で確実なスクリーニング性を有するスパースモデルを特定でき、効率的なモデル探索を可能にする。
• IHT-BSS二段階手法は、シミュレーションおよび実データ応用の両方で、LASSO、SCAD、SISよりも誤発見率が低く、真正陽性率が高い。