[論文レビュー] Hyperparameter optimization with approximate gradient

Fabián Pedregosa|arXiv (Cornell University)|Feb 7, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用数 139

ひとこと要約

Hoag を提示する。勾配ベースのハイパーパラメータ最適化アルゴリズムで、収束可能な誤差の和が取れる近似勾配を用いる。静止点への収束を保証する。正則化パラメータとカーネルパラメータで実証。

ABSTRACT

Most models in machine learning contain at least one hyperparameter to control for model complexity. Choosing an appropriate set of hyperparameters is both crucial in terms of model accuracy and computationally challenging. In this work we propose an algorithm for the optimization of continuous hyperparameters using inexact gradient information. An advantage of this method is that hyperparameters can be updated before model parameters have fully converged. We also give sufficient conditions for the global convergence of this method, based on regularity conditions of the involved functions and summability of errors. Finally, we validate the empirical performance of this method on the estimation of regularization constants of L2-regularized logistic regression and kernel Ridge regression. Empirical benchmarks indicate that our approach is highly competitive with respect to state of the art methods.

研究の動機と目的

• 正則化モデルおよびカーネルベースのモデルにおける効果的なハイパーパラメータ最適化の必要性を動機づける。
• 計算負荷を軽減するために近似勾配を用いる勾配ベースの手法を開発する。
• 穏当な正規性と和性の仮定の下で収束性保証を確立する。
• 複数のデータセットにわたって Hoag をロジスティック回帰とカーネルリッジ回帰で実証的に評価する。

提案手法

• 内側と外側の目的を持つ双レベル問題としてハイパーパラメータ最適化を定式化する。
• 内問題の不完全解と線形系を用いて外部目的の近似勾配を導出する。
• Hoag を定義する：内問題を許容誤差 εk まで解く、ヘシアン-線形系を εk まで解く、近似勾配から p_k を形成する、ステップサイズ 1/L の投影勾配法を実行する。
• 収束性を証明する：勾配誤差は O(εk) であり、εk の和が可算であるなら静止点への収束を意味する。
• 適応的なステップサイズと実装上の実務的な詳細を議論する。CGベースのヘシアン解法と εk-許容戦略を含む。

実験結果

リサーチクエスチョン

• RQ1 近似勾配情報を用いてハイパーパラメータ最適化をどのように実行できるか。
• RQ2 双レベルのハイパーパラメータ設定において近似勾配法が静止点へ収束する条件は何か？
• RQ3 実用的な許容系列と競争力のある経験的性能をもたらすステップサイズ戦略とは何か？
• RQ4 Hoag はグリッド探索、ランダム探索、SMBO、および反復微分法と比較して精度と効率の点でどうか？
• RQ5 Hoag はデータセット全体で正則化パラメータ推定およびカーネルパラメータ調整に効果的に適用できるか？

主な発見

• 外部目的の勾配は、制御可能な誤差で近似でき、O(εk) である。
• εk列が和は可算であれば、Hoag は外部目的の静止点へ収束する。
• Hoag は L2-正則化ロジスティック回帰およびカーネルリッジ回帰において、グリッド探索、ランダム探索、SMBO、および反復微分法と比較して競争力のある性能を達成する。
• 未知のリプシッツ定数に対処しつつ収束挙動を保つために、実務的には適応的なステップサイズ戦略を用いることができる。
• Hoag は内側の最適化をウォームスタートすることで効率性を高める。
• 実証結果は、全体的な進行が単調でなくても、いくつかのデータセットで早期収束が速いことを示唆している。