[論文レビュー] Safe Grid Search with Optimal Complexity

Eugène Ndiaye, Tam Le+3 more|arXiv (Cornell University)|Oct 12, 2018

Sparse and Compressive Sensing Techniques参考文献 36被引用数 7

ひとこと要約

この論文は、勾配降下法のハイパーパramータチューニングにおける安全なグリッドサーチアルゴリズムを提案し、正則化パスの近似によって最適な計算複雑度を達成する。損失関数の曲率特性（例えばロジスティック回帰における一般化自己同一性、最小二乗法における一様凸性）を活用することで、検証誤差が最適値からε以内に収まることが保証され、手動の停止基準なしにトレーニング最適化の許容誤差を自動的に補正する。

ABSTRACT

Popular machine learning estimators involve regularization parameters that can be challenging to tune, and standard strategies rely on grid search for this task. In this paper, we revisit the techniques of approximating the regularization path up to predefined tolerance $ε$ in a unified framework and show that its complexity is $O(1/\sqrt[d]ε)$ for uniformly convex loss of order $d \geq 2$ and $O(1/\sqrtε)$ for Generalized Self-Concordant functions. This framework encompasses least-squares but also logistic regression, a case that as far as we know was not handled as precisely in previous works. We leverage our technique to provide refined bounds on the validation error as well as a practical algorithm for hyperparameter tuning. The latter has global convergence guarantee when targeting a prescribed accuracy on the validation set. Last but not least, our approach helps relieving the practitioner from the (often neglected) task of selecting a stopping criterion when optimizing over the training set: our method automatically calibrates this criterion based on the targeted accuracy on the validation set.

研究の動機と目的

• 高次元設定における正確な正則化パスアルゴリズムの非効率性と不安定性（指数的複雑度および数値的問題）を解消すること。
• 機械学習で一般的な一般正則性仮定の下で、解および検証パスの統一的フレームワークによる近似を提供すること。
• トレーニング最適化における停止基準の手動選択を不要にし、目標となる検証精度に基づいて自動的にそれを補正すること。
• 従来の近似パス手法を、ロジスティック回帰や一般化自己同一関数といったこれまで扱いにくかったケースに拡張すること。
• 検証誤差が最適値からεv以内に収まるハイパーパramータ選択に、グローバル収束保証を備えた実用的アルゴリズムを提供すること。

提案手法

• 損失関数の曲率、特にd ≥ 2の順序における一様凸性および一般化自己同一性を活用して、正則化パスの近似を統一的フレームワークで行う。
• 一様凸損失関数（d ≥ 2）に対してO(1/√[d]ε)、一般化自己同一関数（例：ロジスティック回帰）に対してO(1/√ε)の複雑度を導出する。
• 正則化パラメータの関数として検証誤差の上界および下界を構築し、候補パラメータの安全な区間推定を可能にする。
• 目標となる検証精度εvに基づいて、トレーニング最適化の停止基準を導入し、十分な精度に達した時点でのみトレーニングを停止することを保証する。
• 理論的境界から導かれる適応的片側および両側グリッドを用いたグリッド精錬戦略を採用し、グリッド点の数を最小限に抑えつつεv精度を維持する。
• 双対性およびFenchel共役を活用して、検証誤差ギャップを双対変数の関数として表現し、各候補周辺の安全区間の効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰を含む広範な機械学習問題クラスにおいて、正則化パスの近似の複雑度を最適化できるか？
• RQ2 グリッド点の数を最小限に抑えながら、保証された精度εvで検証誤差パスを近似できるか？
• RQ3 一般化自己同一関数および一様凸損失関数の下での安全グリッドサーチの理論的複雑度は何か？
• RQ4 目的となる検証精度に基づいて、トレーニング最適化の停止基準を自動的に補正でき、手動チューニングを不要にするか？
• RQ5 計算コストおよび精度の観点で、glmnet や sklearn で使用されるデフォルトグリッドと比較して、実用的性能はどうか？

主な発見

• 一様凸損失関数（d ≥ 2）に対してO(1/√[d]ε)の複雑度、一般化自己同一関数（例：ロジスティック回帰）に対してO(1/√ε)の複雑度を達成し、従来のO(1/ε)の境界を改善する。
• ロジスティック回帰において、一般化自己同一性の下で明示的な複雑度および最適性保証を持つ、初めての既知の近似パスを提供する。これは、かつて精度のない形で扱われていたケースである。
• アルゴリズムは、その対応するモデル誤差が最適検証誤差からεv以内に収まる離散的パラメータ集合を出力する。これは命題8で形式化されている。
• アルゴリズムは、双対ギャップがεv,μ未満に下がった時点でトレーニング最適化を停止することを自動的に決定し、これ以上のトレーニングが検証性能を向上させないことを保証する。
• 白血病および気象データセットにおける数値実験では、glmnet や sklearn で使用されるデフォルトグリッドと比較して顕著な計算上の利点と、より優れたパス近似を示す。
• 非凸的かつ非滑らかでない検証誤差のランドスケープにおいても、合成Elastic Net問題の実験で、アルゴリズムはグローバル最小値に収束することが示された。