[論文レビュー] abess: A Fast Best Subset Selection Library in Python and R

Jin Zhu, Xueqin Wang+6 more|arXiv (Cornell University)|Oct 19, 2021

Statistical Methods and Inference参考文献 16被引用数 7

ひとこと要約

abess は、線形回帰、分類、PCA を含む多様な機械学習タスクにおけるベストサブセット選択（BSS）を統合的に実装する、高パフォーマンスでオープンソースの Python および R ライブラリです。スプライシング技術と C++ による高速化、およびウォームスタートや OpenMP 並列処理などの最適化を活用し、線形モデル下で多項式時間で公証可能な最適解を達成し、scikit-learn の Lasso と比較して最大 20 倍速くなります。

ABSTRACT

We introduce a new library named abess that implements a unified framework of best-subset selection for solving diverse machine learning problems, e.g., linear regression, classification, and principal component analysis. Particularly, the abess certifiably gets the optimal solution within polynomial times with high probability under the linear model. Our efficient implementation allows abess to attain the solution of best-subset selection problems as fast as or even 20x faster than existing competing variable (model) selection toolboxes. Furthermore, it supports common variants like best group subset selection and $\ell_2$ regularized best-subset selection. The core of the library is programmed in C++. For ease of use, a Python library is designed for conveniently integrating with scikit-learn, and it can be installed from the Python library Index. In addition, a user-friendly R library is available at the Comprehensive R Archive Network. The source code is available at: https://github.com/abess-team/abess.

研究の動機と目的

• 多様な機械学習問題にわたるベストサブセット選択のための統合的で効率的かつスケーラブルなライブラリの開発。
• 線形モデル下で、高確率で多項式時間内に公証可能な最適解を提供すること。
• グループ単位の選択、$β$-正則化、およびノイズ変数選択を含む高度な変種をサポートすること。
• scikit-learn や R の tidyverse といった人気データサイエンスエコシステムへのシームレスな統合を確保すること。
• スパース行列サポート、ウォームスタート初期化、OpenMP 並列処理などの低レベル最適化を通じた高いパフォーマンスの提供。

提案手法

• コアアルゴリズムは、スプライシング技術を用いてサブセット空間を効率的に探索し、線形モデル下で高確率で多項式時間内に最適モデルを同定します。
• パフォーマンスを最適化するため C++ で実装され、使いやすさと統合性を考慮した高水準の Python および R インターフェースを提供します。
• 線形、ロジスティック、ポisson、ガンマ、多項ロジスティック、順序尺度、コックス比例ハザード、マルチタスク、スパースPCA回帰など、さまざまな学習タスクに対応する複数のソルバーをサポートします。
• アルゴリズム的拡張により、グループ構造を持つ予測子、$β$-正則化、およびノイズ変数選択の組み込みサポートを含むフレームワークを備えます。
• ウォームスタート初期化、スパース行列処理、CPU コア間の OpenMP 並列処理によりパフォーマンスが向上します。
• Python では scikit-learn に統合され、R では tidyverse の基準に準拠しており、標準的な機械学習パイプラインとの互換性を確保しています。

実験結果

リサーチクエスチョン

• RQ1 線形モデル下で、ベストサブセット選択が理論的保証とともに多項式時間で効率的に解けるか？
• RQ2 abess のパフォーマンスは、scikit-learn や celer といった既存のライブラリと比較して、速度と解の品質の面でどの程度優れているか？
• RQ3 abess はスパarsity と正確性を維持したまま、高次元データセットへどの程度スケーリングできるか？
• RQ4 統一されたフレームワークを用いて、分類、生存分析、PCA といった多様な学習タスクを効率的に処理できるか？
• RQ5 abess が scikit-learn や R エコシステムと統合されることで、使いやすさとワークフローの互換性にどのような影響を与えるか？

主な発見

• Zhu ら（2020）の証明によると、abess は線形モデル下で高確率で多項式時間内にベストサブセット選択の公証可能な最適解を達成します。
• がんデータセットでは、abess は scikit-learn の LassoCV よりも 20 倍以上速く（1.00 秒 vs. 62.16 秒）、AUC の性能は同等（0.97）を達成しました。
• スパースPCAでは、20 個の非ゼロ負荷を用いて 3.88% の分散を説明し、同じスパarsity 条件下で elasticnet（2.00%）を上回りました。また、1.05 秒で実行され、85.54 秒かかった elasticnet よりも 80 倍速くなりました。
• Python および R のパッケージは、それぞれ 97% および 96% のコードカバレッジを達成しており、PEP8 および tidyverse スタイルガイドに厳密に準拠しています。
• モジュラーなアルゴリズムフレームワークを介して、ロジスティック、ポisson、ガンマ、多項ロジスティック、順序尺度、コックス比例ハザード、マルチタスク、スパースPCA など、幅広いモデルをサポートしています。
• ライブラリは PyPI および CRAN で利用可能で、GitHub Actions を用いた完全なドキュメンテーションと継続的インテグレーションが実施されています。