[論文レビュー] LassoBench: A High-Dimensional Hyperparameter Optimization Benchmark Suite for Lasso

Kenan Šehić, Alexandre Gramfort+2 more|arXiv (Cornell University)|Nov 4, 2021

Machine Learning and Data Classification参考文献 48被引用数 7

ひとこと要約

LassoBenchは、重み付きlasso回帰を対象とした、最初の高次元ハイパーパramータ最適化（HD-HPO）ベンチマークスイートを提供する。合成データおよび実世界のデータセットを用いたHD-HPO手法の厳密な評価を可能にする。Bayesian最適化やCMA-ESのような進化的戦略が、特に高次元でノイズの多い状況下において、標準的なlassoベースラインを顕著に上回ることを示している。

ABSTRACT

While Weighted Lasso sparse regression has appealing statistical guarantees that would entail a major real-world impact in finance, genomics, and brain imaging applications, it is typically scarcely adopted due to its complex high-dimensional space composed by thousands of hyperparameters. On the other hand, the latest progress with high-dimensional hyperparameter optimization (HD-HPO) methods for black-box functions demonstrates that high-dimensional applications can indeed be efficiently optimized. Despite this initial success, HD-HPO approaches are mostly applied to synthetic problems with a moderate number of dimensions, which limits its impact in scientific and engineering applications. We propose LassoBench, the first benchmark suite tailored for Weighted Lasso regression. LassoBench consists of benchmarks for both well-controlled synthetic setups (number of samples, noise level, ambient and effective dimensionalities, and multiple fidelities) and real-world datasets, which enables the use of many flavors of HPO algorithms to be studied and extended to the high-dimensional Lasso setting. We evaluate 6 state-of-the-art HPO methods and 3 Lasso baselines, and demonstrate that Bayesian optimization and evolutionary strategies can improve over the methods commonly used for sparse regression while highlighting limitations of these frameworks in very high-dimensional and noisy settings.

研究の動機と目的

• スパース回帰モデル（例：重み付きlasso）におけるハイパーパramータ最適化（HPO）のための現実的で高次元のベンチマークの欠如に対処すること。
• ノイズレベルと有効次元数を調整可能な、再現可能でオープンソースのベンチマークスイートを提供し、合成データおよび実世界のデータセットをサポートすること。
• 統計的保証が強いモデルのクラスにおいて、最先端のHD-HPO手法の体系的評価と改善を可能にすること。
• HD-HPO分野における理論的進展と、遺伝学、ファイナンス、脳イメージングなどの実応用とのギャップを埋めること。

提案手法

• LassoBenchは、各特徴量に個別のハイパーパramータを割り当てることで、標準的なlassoよりもスパarsity制御を向上させられる重み付きlasso（wLasso）モデルに基づいている。
• 制御されたパrameter（サンプル数、ノイズレベル（SNR）、環境次元数、ユーザー定義の有効次元数サブスペース）を備えた合成データセットを含む。
• 複数のデータ忠実度レベルを公開することで、早期停止を伴う効率的なHPOを可能にするマルチファシリティ最適化をサポートする。
• 標準的なlassoベースライン（例：LassoCV、AdaptiveLassoCV）と最先端のHD-HPO手法（例：CMA-ES、TuRBO、Sparse-HO、Hyperband）を統合し、比較評価を可能にする。
• 交差検証を主な評価指標として使用し、今後のリリースで追加の検証基準をサポートする。
• 拡張性と再現性を考慮したフレームワーク設計であり、Leukemia や RCV1 などの多様な実世界データセットにおいて、ノイズなしおよびノイズありの両設定をサポートする。

実験結果

リサーチクエスチョン

• RQ1 高次元Bayesian最適化や進化的戦略は、スパース回帰において標準的なlassoベースのハイパーパramータチューニング手法を上回ることができるか？
• RQ2 ノイズレベルや有効次元数が変化する高次元lasso問題において、HD-HPO手法の性能はどのように変化するか？
• RQ3 マルチファシリティ最適化と低次元サブスペース仮定の影響は、wLassoにおけるHPO性能にどのような影響を与えるか？
• RQ4 環境次元数が増加するに従って、異なるHPO手法はどのようにスケーリングするか。特にRCV1（d=19,959）のような計算的に困難な設定においては？
• RQ5 lassoベースラインとHD-HPO手法を組み合わせたハイブリッド手法は、収束性と最終的な性能を向上させることができるか？

主な発見

• Leukemiaデータセットでは、CMA-ESがMSE 0.015を達成し、2番目に良い手法（Multi-start Sparse-HO、MSE 0.06）に対して75%の改善を示した。
• RCV1ベンチマークでは、LassoCVとAdaptiveLassoCVがそれぞれMSE 0.187および0.215を達成し、他のすべてのHPO手法を上回った。
• CMA-ESはLeukemiaで急速に収束し、すべてのベースラインを上回ったが、TuRBOは初期に性能が平坦化し、0.39 MSEを超える改善が得られなかった。
• Sparse-HOは複数回のランダムスタートを実行し、RCV1でMSE 0.25を達成した。これはランダムサーチ（0.277）やHyperband（0.265）よりも優れていたが、lassoベースラインには及ばなかった。
• HeSBOはd_low=2でRCV1でMSE 0.247を達成し、Sparse-HOよりわずかに優れていたが、依然としてLassoCVベースラインには劣っていた。
• ベンチマークの結果から、標準的なlassoベースラインは依然として非常に競争力があるが、CMA-ES や Sparse-HO などのHD-HPO手法は、高次元でノイズの多い状況下でそれらを上回ることが可能であることが明らかになった。