[論文レビュー] Provably Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function

Tung Quoc Le, Anh Tuan Nguyen+1 more|arXiv (Cornell University)|Feb 2, 2026

Machine Learning and Data Classification被引用数 0

ひとこと要約

この論文は、多次元ハイパーパラメータのデータ駆動チューニングに対して一般化保証を得るための初の一般的枠組みを提供し、一階論理/実代数幾何学アプローチを用いて、訓練と検証の目的の両方に拡張し、重み付きグループLASSOおよび重み付き融合LASSOへの応用を示す。

ABSTRACT

Data-driven algorithm design automates hyperparameter tuning, but its statistical foundations remain limited because model performance can depend on hyperparameters in implicit and highly non-smooth ways. Existing guarantees focus on the simple case of a one-dimensional (scalar) hyperparameter. This leaves the practically important, multi-dimensional hyperparameter tuning setting unresolved. We address this open question by establishing the first general framework for establishing generalization guarantees for tuning multi-dimensional hyperparameters in data-driven settings. Our approach strengthens the generalization guarantee framework for semi-algebraic function classes by exploiting tools from real algebraic geometry, yielding sharper, more broadly applicable guarantees. We then extend the analysis to hyperparameter tuning using the validation loss under minimal assumptions, and derive improved bounds when additional structure is available. Finally, we demonstrate the scope of the framework with new learnability results, including data-driven weighted group lasso and weighted fused lasso.

研究の動機と目的

• データ駆動ハイパーパラメータチューニングにおけるスカラー以外のハイパーパラメータに対する厳密な理論保証の必要性を動機づける。
• 多次元ハイパーパラメータの学習複雑性を境界づける一般的な枠組みを提供する。
• 最小限の仮定で検証チューニングと訓練のみの設定の両方へ枠組みを拡張する。
• 重み付きグループLASSOや重み付き融合LASSOのような応用に対する学習可能性結果を実証する。

提案手法

• 未知の問題分布上の統計学習問題としてハイパーパラメータチューニングをモデル化する — 損失を定義する (x) を、訓練目的 f と検証目的 g を用いた二階最適化として導出する。
• 内側の目的 f が (, heta) に対して区分的多項式構造を持つなら、誘導された損失 (x) は多項式一階論理(FOL)式として表現できる。
• 量化子除去を用いて多項式FOLをクォンティファイ・フォーミュラ(QFF)へ変換し、得られた式の複雑さを通じて疑似次元を上界する（GJフレームワーク）。
• 多次元の (  ) に対するPAC風一般化保証を、f  g の場合でも、内側が区分的多項式構造を持つときに一般的な結果として提供する（定理5.1および6.1）。
• 内解最適化が区分的有理解を持つ場合に、明示的解パスを利用して境界を引き締め、内次元 d に依存しないより厳密な界を得る可能性を示す（ Assumption 7.1 を用いた定理7.2）。
• データ駆動チューニングの重み付きグループLASSOおよび重み付き融合LASSOへの適用を実証する（セクション8）。

実験結果

リサーチクエスチョン

• RQ1 内側の最適化変数に依存する損失が暗黙的に発生する場合、多次元ハイパーパラメータチューニングは一般化保証を持つと保証できるか？
• RQ2 内側問題が区分的多項式構造を与える場合、誘導損失族の学習理論的複雑さをどのように境界づけるか？
• RQ3 多項式FOL表現は、スカラー以外のハイパーパラメータに対するデータ駆動ハイパーパラメータチューニングの有限サンプル一般化保証を可能にするか？
• RQ4 検証ベースのチューニング（f  g）を枠組みに組み込み、具体的な境界を提供できるか？
• RQ5 重み付きグループLASSOや重み付き融合LASSOのような構造化正則化にはどのような学習可能性の影響があるか？

主な発見

• 一般的なツール（定理4.1）を用いて、損失族の疑似次元を、損失の一階論理表現を通じて量化除去と結びつける。
• f が区分的多項式構造を持つ場合、誘導された訓練損失 (x) は多項式FOLとなり、多次元一般化保証を生み出す（定理5.1）。
• 検証ベースのチューニング（f  g）も、f および g が区分的多項式構造を持つとき学習可能性を与える（定理6.1）。
• 最適解パスを活用すると境界を引き締められ、内部次元 d への依存を排除できる可能性がある（定理7.2）。
• 本フレームワークは、データ駆動チューニングの重み付きグループLASSOおよび重み付き融合LASSOの初の学習可能性保証を提供する（セクション8）。