[논문 리뷰] abess: A Fast Best Subset Selection Library in Python and R

Jin Zhu, Xueqin Wang외 6명|arXiv (Cornell University)|2021. 10. 19.

Statistical Methods and Inference참고 문헌 16인용 수 7

한 줄 요약

abess는 선형 회귀, 분류, 주성분 분석(PCA)를 포함한 다양한 머신러닝 작업에서 최적 부분집합 선택(BSS)을 위한 통합 프레임워크를 구현한 고성능이고 오픈소스인 Python 및 R 라이브러리입니다. 스플리싱 기법과 C++ 기반 최적화(예를 들어 웜스타트, OpenMP 병렬 처리 등)를 활용하여 선형 모델 하에서 다항시간 내에 인증된 최적 해를 도출하며, scikit-learn의 Lasso와 같은 경쟁 도구 대비 최대 20배 빠른 성능을 보입니다.

ABSTRACT

We introduce a new library named abess that implements a unified framework of best-subset selection for solving diverse machine learning problems, e.g., linear regression, classification, and principal component analysis. Particularly, the abess certifiably gets the optimal solution within polynomial times with high probability under the linear model. Our efficient implementation allows abess to attain the solution of best-subset selection problems as fast as or even 20x faster than existing competing variable (model) selection toolboxes. Furthermore, it supports common variants like best group subset selection and $\ell_2$ regularized best-subset selection. The core of the library is programmed in C++. For ease of use, a Python library is designed for conveniently integrating with scikit-learn, and it can be installed from the Python library Index. In addition, a user-friendly R library is available at the Comprehensive R Archive Network. The source code is available at: https://github.com/abess-team/abess.

연구 동기 및 목표

• 다양한 머신러닝 문제에 걸쳐 통합적이고 효율적이며 확장 가능한 최적 부분집합 선택 라이브러리 개발
• 선형 모델 하에서 높은 확률로 다항시간 내에 인증된 최적 해를 제공하는 최적 부분집합 선택
• 그룹별 선택, $β$-정규화, 잡음 변수 선택과 같은 고급 변형 지원
• scikit-learn 및 R의 tidyverse와 같은 인기 있는 데이터 과학 생태계와의 원활한 통합 보장
• 희소 행렬 지원, 웜스타트 초기화, OpenMP 병렬 처리와 같은 저수준 최적화를 통한 고성능 구현

제안 방법

• 핵심 알고리즘은 선형 모델 하에서 다항시간 내에 높은 확률로 최적 모델을 찾기 위해 부분집합 공간을 효율적으로 탐색하는 스플리싱 기법을 사용합니다.
• 성능을 위해 C++로 구현되었으며, 사용성과 통합을 위해 고수준의 Python 및 R 인터페이스를 제공합니다.
• 선형, 로지스틱, 포isson, 감마, 다중군형, 순서형, 코ックス 비례 위험, 다중작업, 희소 PCA 회귀 등 다양한 학습 작업을 위한 여러 솔버를 지원합니다.
• 알고리즘 확장 기반으로 그룹 구조 예측 변수, $β$-정규화, 잡음 변수 선택을 내장된 방식으로 지원합니다.
• 웜스타트 초기화, 희소 행렬 처리, CPU 코어 기반 OpenMP 병렬 처리를 통해 성능을 향상시킵니다.
• Python에서는 scikit-learn과 통합되고, R에서는 tidyverse 표준을 따르며, 표준 머신러닝 파ip라인과의 호환성을 보장합니다.

실험 결과

연구 질문

• RQ1 선형 모델 하에서 최적 부분집합 선택이 다항시간 내에 이론적 보장과 함께 효율적으로 해결될 수 있는가?
• RQ2 abess의 성능는 scikit-learn 및 celer와 같은 기존 라이브러리 대비 속도와 해의 품질 측면에서 어떻게 비교되는가?
• RQ3 abess는 희소성과 정확성을 유지하면서 고차원 데이터셋에 얼마나 잘 스케일링되는가?
• RQ4 분류, 생존 분석, PCA와 같은 다양한 학습 작업을 통합 프레임워크를 통해 효율적으로 처리할 수 있는가?
• RQ5 abess가 scikit-learn 및 R 생태계와 통합될 경우 사용성과 워크플로우 호환성에 어떤 영향을 미치는가?

주요 결과

• Zhu 등(2020)의 증명에 따르면, abess는 선형 모델 하에서 다항시간 내에 높은 확률로 인증된 최적 해를 도출합니다.
• 암 데이터셋에서 abess는 scikit-learn의 LassoCV(62.16초 대비 1.00초)보다 20배 이상 빠르게 실행되며, AUC 성능은 유사하게 유지됩니다(0.97).
• 희소 PCA의 경우, abess는 20개의 비영 요소 로딩을 통해 3.88%의 분산을 설명하며, 동일한 희소성 조건에서 elasticnet(2.00%)를 초월하고, 80배 빠른 성능(1.05초 대비 85.54초)을 보입니다.
• Python 및 R 패키지는 각각 97%, 96%의 코드 커버리지 비율을 확보하였으며, PEP8 및 tidyverse 스타일 가이드라인을 엄격히 준수합니다.
• 모듈러 알고리즘 프레임워크를 통해 로지스틱, 포isson, 감마, 다중군형, 순서형, 코ックス 비례 위험, 다중작업, 희소 PCA 등 다양한 모델을 지원합니다.
• abess는 PyPI 및 CRAN에 배포되며, GitHub Actions를 통한 완전한 문서화 및 지속적 통합을 제공합니다.