[論文レビュー] BeSS: An R Package for Best Subset Selection in Linear, Logistic and CoxPH Models

Canhong Wen, Aijun Zhang+2 more|arXiv (Cornell University)|Sep 19, 2017

Statistical Methods and Inference参考文献 21被引用数 6

ひとこと要約

この論文では、線形モデル、ロジスティック回帰モデル、コックス比例ハザードモデルにおける最良部分集合選択のための、プライマルデュアルアクティブセット法を実装したRパッケージBeSSを紹介する。この手法は、効率的なC++/Rcpp統合を活用し、逐次探索およびゴールデンセクション探索戦略をサポートしており、1台のマシンで10,000個の予測子までを秒単位で高速かつ安定して選択可能である。

ABSTRACT

We introduce a new R package, BeSS, for solving the best subset selection problem in linear, logistic and Cox's proportional hazard (CoxPH) models. It utilizes a highly efficient active set algorithm based on primal and dual variables, and supports sequential and golden search strategies for best subset selection. We provide a C++ implementation of the algorithm using Rcpp interface. We demonstrate through numerical experiments based on enormous simulation and real datasets that the new BeSS package has competitive performance compared to other R packages for best subset selection purpose.

研究の動機と目的

• 大規模なpを伴う高次元設定における、全組み合わせ的最良部分集合選択の計算不能性に対処すること。
• 線形モデル、一般化線形モデル、コックス比例ハザードモデルの全般にわたる、計算的に効率的で安定した最良部分集合選択アルゴリズムの開発。
• 部分集合選択問題における非凸なL0制約を効率的に処理できるプライマルデュアルアクティブセット法の実装。
• AIC、BIC、EBICといったモデル選択基準をサポートする、C++で加速されたコアアルゴリズムを備えたユーザーフレンドリーなRパッケージの提供。
• シミュレートデータおよび実世界のデータセットを用いたパッケージの性能評価を通じて、nが1000数、pが10000数のスケーラビリティを示すこと。

提案手法

• 本手法は、補完的プライマル変数とデュアル変数を用いて逐次的にアクティブセットを更新するプライマルデュアルアクティブセット（PDAS）アルゴリズムを採用する。
• アルゴリズムはL0ノルム制約付きの凸損失関数へ一般化可能であり、線形モデル、ロジスティック回帰、コックスPHモデルへの応用を可能にする。
• 2種類の探索戦略をサポート：k（部分集合サイズ）に対する逐次探索、および最適なkを特定するためのゴールデンセクション探索。
• コアアルゴリズムは、Rcpp経由のC++実装により高速性を実現し、スパース行列演算のメモリ最適化も実施。
• モデル選択基準（AIC、BIC、EBIC）を用いて、各kに対する最良部分集合の系列から最適なモデルを同定する。
• アクティブセットの更新と双対性に基づく収束チェックにより、全組み合わせ探索を回避することで、計算時間を著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 プライマルデュアルアクティブセット法は、線形モデル、ロジスティック回帰、コックスPHモデルの全般にわたる最良部分集合選択において、競争力のある計算効率と精度を達成できるか？
• RQ2 BeSSの性能は、leaps、bestglm、glmutiといった既存のRパッケージと比較して、高次元データにおける速度と安定性の面で優れているか？
• RQ3 逐次探索およびゴールデンセクション探索戦略は、最小限の計算オーバーヘッドで最適なモデルサイズkを効果的に特定できるか？
• RQ4 BeSSのC++で加速された実装は、p > 10,000の予測子とnが数千規模のデータセットに対しても、数値的安定性を維持しながらスケーラブルか？
• RQ5 AIC、BIC、EBICといった情報基準は、BeSSアルゴリズムと併用した場合、最適なモデル選択にどの程度効果的に機能するか？

主な発見

• BeSSは、他のRパッケージと比較して競争力のある性能を示し、1台の個人用PCでnが1000数、pが10000数の最良部分集合問題を数秒で解ける。
• trim32データセットにおいて、EBIC基準を用いたBeSSは、EBIC = -561.2689を示す2予測子モデルを正しく同定した。
• trim32データセットでは、AIC基準により選択された最良モデルは25個の予測子を含み、AIC = -890.9282であった。これは、良好なフィットとモデルの複雑さのトレードオフを示している。
• プライマルデュアルアクティブセット法は、収束が安定的かつ効率的であり、全組み合わせ探索では不可能なNP困難な最良部分集合問題を解ける。
• RcppによるC++実装により、計算が著しく高速化され、高次元データにおける最良部分集合選択が実用的になった。
• BeSSが生成する解パス図および損失関数プロットは、モデル選択の明確な視覚的ガイドを提供しており、垂直線はEBICによって同定された最適なkを示している。