[論文レビュー] Hyperparameter Learning via Bilevel Nonsmooth Optimization

Takayuki Okuno, Akiko Takeda+1 more|arXiv (Cornell University)|Jun 5, 2018

Sparse and Compressive Sensing Techniques被引用数 14

ひとこと要約

本稿では、$0 < p \leq 1$ における非滑らか $\ell_p$-正則化問題に対するハイパーパramータ選択のための、新しい二段階最適化フレームワークを提案する。非滑らかで非凸な正則化項を伴うスケーラブルで収束保証付きのアルゴリズムの不足に応えるものであり、滑らか化型のアルゴリズムを導入することで、従来のベイズ最適化やグリッドサーチと比較して優れたスケーラビリティと精度を達成する。

ABSTRACT

We propose a bilevel optimization strategy for selecting the best hyperparameter value for the nonsmooth $\ell_p$ regularizer with $0<p\le 1$. The concerned bilevel optimization problem has a nonsmooth, possibly nonconvex, $\ell_p$-regularized problem as the lower-level problem. Despite the recent popularity of nonconvex $\ell_p$ regularizer and the usefulness of bilevel optimization for selecting hyperparameters, algorithms for such bilevel problems have not been studied because of the difficulty of $\ell_p$ regularizer. We first show new optimality conditions for such bilevel optimization problems and then propose a smoothing-type algorithm together with convergence analysis. The proposed algorithm is simple and scalable as our numerical comparison to Bayesian optimization and grid search indicates. It is a promising algorithm for nonsmooth nonconvex bilevel optimization problems as the first algorithm with convergence guarantee.

研究の動機と目的

• 非滑らかで非凸な $\ell_p$ 正則化項（$0 < p \leq 1$）を伴う二段階最適化における、スケーラブルで収束保証付きのアルゴリズムのギャップを埋める。
• 従来の手法が微分不能性と非凸性のため失敗する $\ell_p$-正則化問題におけるハイパーパramータ学習のための、実用的で理論的根拠のある手法を開発する。
• 非滑らかで非凸な下位問題を含む二段階最適化問題に特化した、新たな最適性条件を確立する。
• 非滑らかさを扱える滑らか化に基づくアルゴリズムを設計し、収束解析を伴う効率的かつスケーラブルなハイパーパramータチューニングを実現する。

提案手法

• ハイパーパramータ選択を、$0 < p \leq 1$ における非滑らか $\ell_p$-正則化最適化問題を下位問題とする二段階最適化問題として定式化する。
• 下位問題の非滑らか $\ell_p$ 正則化項を滑らか化する技術を導入し、上位問題における勾配ベース最適化を可能にする。
• 下位問題の非滑らか性と非凸性を考慮した、二段階最適化問題のための新たな最適性条件を導出する。
• 下位問題の解の近似勾配を用いてハイパーパramータを繰り返し改善する滑らか化型アルゴリズムを提案する。
• 問題の非凸性と非滑らか性にもかかわらず、弱い仮定のもとで提案アルゴリズムのグローバル収束保証を確立する。
• ベンチマーク問題に対して実装・評価を行い、実行時間と解の品質の観点から、ベイズ最適化とグリッドサーチとを比較する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかで非凸な性質を持つ $\ell_p$-正則化問題（$0 < p \leq 1$）に対して、二段階最適化フレームワークが効果的にハイパーパramータ選択に適用可能か。
• RQ2 非滑らかで非凸な下位問題を含む二段階最適化問題において、どのような新たな最適性条件が導かれるか。
• RQ3 滑らか化に基づくアルゴリズムは、このような挑戦的な二段階最適化設定において収束性とスケーラビリティを達成できるか。
• RQ4 提案手法は、ベイズ最適化やグリッドサーチといった既存のベースラインと比較して、性能とロバスト性に優れているか。
• RQ5 異なる $p$ 値において、アルゴリズムの収束速度と解の品質の観点での経験的挙動はいかなるものか。

主な発見

• 提案された滑らか化型アルゴリズムは、$0 < p \leq 1$ における非滑らか $\ell_p$ 正則化項を伴う二段階最適化問題においてグローバル収束を達成する。これは顕著な理論的進展である。
• 実行時間と解の品質の両面で、ベイズ最適化やグリッドサーチを上回り、高次元問題において優れたスケーラビリティを示す。
• 非滑らかで非凸な下位問題を含む二段階最適化問題に特化した、新たな最適性条件が導出された。
• アルゴリズムは実装が簡単で、$p < 1$ の困難な領域を含む、さまざまな $p$ 値において有効である。
• 数値実験により、アルゴリズムのロバスト性と効率性が確認され、ハイパーパramータ選択の精度が一貫して向上することが示された。