[논문 리뷰] LassoBench: A High-Dimensional Hyperparameter Optimization Benchmark Suite for Lasso

Kenan Šehić, Alexandre Gramfort외 2명|arXiv (Cornell University)|2021. 11. 04.

Machine Learning and Data Classification참고 문헌 48인용 수 7

한 줄 요약

LassoBench는 가중 Lasso 회귀를 위한 최초의 고차원 하이퍼파ram터 최적화(HD-HPO) 벤치마크 세트를 제공하며, 합성 및 실세계 데이터셋에서 HD-HPO 방법의 철저한 평가를 가능하게 한다. 이는 베이지안 최적화와 CMA-ES와 같은 진화 전략이 특히 고차원, 노이즈가 많은 환경에서 표준 Lasso 기반 베이스라인에 비해 뛰어난 성능을 보임을 보여준다.

ABSTRACT

While Weighted Lasso sparse regression has appealing statistical guarantees that would entail a major real-world impact in finance, genomics, and brain imaging applications, it is typically scarcely adopted due to its complex high-dimensional space composed by thousands of hyperparameters. On the other hand, the latest progress with high-dimensional hyperparameter optimization (HD-HPO) methods for black-box functions demonstrates that high-dimensional applications can indeed be efficiently optimized. Despite this initial success, HD-HPO approaches are mostly applied to synthetic problems with a moderate number of dimensions, which limits its impact in scientific and engineering applications. We propose LassoBench, the first benchmark suite tailored for Weighted Lasso regression. LassoBench consists of benchmarks for both well-controlled synthetic setups (number of samples, noise level, ambient and effective dimensionalities, and multiple fidelities) and real-world datasets, which enables the use of many flavors of HPO algorithms to be studied and extended to the high-dimensional Lasso setting. We evaluate 6 state-of-the-art HPO methods and 3 Lasso baselines, and demonstrate that Bayesian optimization and evolutionary strategies can improve over the methods commonly used for sparse regression while highlighting limitations of these frameworks in very high-dimensional and noisy settings.

연구 동기 및 목표

• 가중 Lasso와 같은 희소 회귀 모델에서 하이퍼파ram터 최적화(HPO)를 위한 현실적이고 고차원의 벤치마크가 부족한 문제를 해결하기 위해.
• 노이즈 수준과 유효 차원 수준을 조절할 수 있는 합성 및 실세계 데이터셋을 지원하는 재현 가능한 오픈소스 벤치마크 세트를 제공하기 위해.
• 통계적 보장이 강한 모델군에서 최첨단 HD-HPO 방법의 체계적 평가 및 향상 가능성을 확보하기 위해.
• HD-HPO 분야의 이론적 발전과 유전체학, 금융, 뇌 영상 분야에서의 실용적 응용 간 격차를 메우기 위해.

제안 방법

• LassoBench는 각 특징에 개별 하이퍼파ram터를 할당함으로써 표준 Lasso보다 더 나은 희소성 제어가 가능한 가중 Lasso(wLasso) 모델 기반으로 구축된다.
• 벤치마크는 샘플 수, 신호 대 노이즈 비율(SNR), 임베딩 차원 수, 사용자 정의 유효 차원 수 하위공간을 제어할 수 있는 합성 데이터셋 포함.
• 다중 신뢰도 최적화를 지원하며, 다양한 수준의 데이터 신뢰도를 노출하여 조기 정지 기반의 효율적 HPO를 가능하게 한다.
• 표준 Lasso 기반 베이스라인(LassoCV, AdaptiveLassoCV)과 최첨단 HD-HPO 방법(CMA-ES, TuRBO, Sparse-HO, Hyperband)을 통합하여 비교 평가를 지원한다.
• 주로 교차검증을 평가 지표로 사용하며, 향후 릴리스에서 추가 검증 기준도 지원할 예정이다.
• 확장성과 재현 가능성을 고려하여 설계되었으며, Leukemia와 RCV1과 같은 다양한 실세계 데이터셋에서 노이즈 없는 및 노이즈 있는 환경 모두를 지원한다.

실험 결과

연구 질문

• RQ1 고차원 베이지안 최적화 및 진화 전략은 희소 회귀에서 표준 Lasso 기반 하이퍼파ram터 튜닝 방법보다 뛰어나게 성능을 내는가?
• RQ2 노이즈 수준과 유효 차원 수가 높은 차원의 Lasso 문제에서 HD-HPO 방법은 어떻게 성능을 내는가?
• RQ3 다중 신뢰도 최적화와 저차원 하위공간 가정은 wLasso에서 HPO 성능에 어떤 영향을 미치는가?
• RQ4 다양한 하이퍼파ram터 튜닝 방법은 증가하는 임베딩 차원 수에 따라 어떻게 스케일링되는가, 특히 RCV1(d=19,959)와 같은 계산적으로 도전적인 설정에서 어떻게 되는가?
• RQ5 Lasso 기반 베이스라인과 HD-HPO 방법을 조합한 하이브리드 접근법은 수렴 속도와 최종 성능 향상에 기여하는가?

주요 결과

• Leukemia 데이터셋에서 CMA-ES는 MSE 0.015를 기록하여 두 번째로 우수한 성능을 낸 다중 시작 Sparse-HO(0.06 MSE)에 비해 75% 향상된 성능을 보였다.
• RCV1 벤치마크에서 LassoCV와 AdaptiveLassoCV는 각각 0.187과 0.215의 최저 MSE를 기록하여 모든 다른 HPO 방법을 압도했다.
• CMA-ES는 Leukemia에서 빠르게 수렴하여 모든 베이스라인을 능가했고, TuRBO는 조기에 성능이 정체되어 0.39 MSE를 초과하지 못했다.
• 다중 랜덤 스타트를 적용한 Sparse-HO는 RCV1에서 MSE 0.25를 기록하여 랜덤 서치(0.277)와 Hyperband(0.265)보다 우수했지만, 여전히 Lasso 기반 베이스라인에 뒤졌다.
• HeSBO는 d_low=2로 설정했을 때 RCV1에서 MSE 0.247을 기록하여 Sparse-HO보다 略히 우수했지만 여전히 LassoCV 베이스라인에 뒤져 있었다.
• 벤치마크 결과는 표준 Lasso 기반 베이스라인이 여전히 매우 경쟁력이 있지만, CMA-ES와 Sparse-HO와 같은 HD-HPO 방법이 고차원, 노이즈가 많은 환경에서는 그들을 능가할 수 있음을 시사한다.