[論文レビュー] On $\ell_p$-hyperparameter Learning via Bilevel Nonsmooth Optimization

Takayuki Okuno, Akiko Takeda+2 more|arXiv (Cornell University)|Jun 5, 2018

Sparse and Compressive Sensing Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、非凸で非滑らかな下位問題を扱うためにスムージング型手法を用いることで、$β_p$-正則化学習におけるハイパーパrameter選択のための理論的保証付き初のアルゴリズムを提案する。このアプローチは最適性条件（SB-KKT）への収束を達成し、複数のデータセットにおいてベイズ最適化やグリッドサーチよりも効率的かつスケーラブルである。

ABSTRACT

We propose a bilevel optimization strategy for selecting the best hyperparameter value for the nonsmooth $\ell_p$ regularizer with $0

研究の動機と目的

• 非凸的かつ非滑らかな$β_p$-正則化学習問題（$0 < p \leq 1$）におけるハイパーパrameter選択のための理論的アルゴリズムの欠如に対処すること。
• 上位問題が検証誤差を最小化し、下位問題が$β_p$-正則化学習問題を解くようなバイレベル最適化フレームワークを構築すること。
• 非滑らかで非凸な$β_p$-正則化子を含むバイレベル問題における新たな必要最適性条件（SB-KKT）を確立すること。
• このバイレベル問題に対して、グローバル収束保証を有するスケーラブルなスムージングベースのアルゴリズムを設計すること。
• ハイパーパrameterチューニングにおいて、ベイズ最適化やグリッドサーチに比べ優れた性能を実証的に示すこと。

提案手法

• 下位問題における非滑らか$β_p$-正則化子を扱うためにスムージング型アルゴリズムを提案し、勾配ベース最適化を可能にする。
• 非滑らかで非凸な下位目的関数を伴うバイレベル問題における新たな必要最適性条件として、SB-KKT（スムージングベースKKT）条件を導入する。
• ラインサーチを必要としない、修正されたニュートン型手法（アルゴリズムB.2）を用いて、滑らか化された下位問題を解く。
• 上位目的関数を検証誤差、下位目的関数を$β_p$-正則化学習目的関数とするバイレベル最適化フレームワークを適用する。
• 滑らか化パラメータ$\mu$を徐々に減少させることで、元の非滑らか問題に近づける。
• やや弱い仮定のもとで、アルゴリズムの反復点がSB-KKT条件を満たす点に蓄積されることを示す収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸的かつ非滑らかな$β_p$-正則化学習（$0 < p \leq 1$）におけるハイパーパrameter選択のための理論的根拠を持つアルゴリズムを開発可能か？
• RQ2 非滑らかで非凸な$β_p$-正則化子を含むバイレベル問題における必要最適性条件は何か？
• RQ3 スムージングベースのアプローチが、このようなバイレベル問題に対してグローバル収束を達成可能か？
• RQ4 提案されたアルゴリズムは、ベイズ最適化やグリッドサーチに比べ、効率性と精度で優れているか？
• RQ5 複数のハイパーパrameterや大規模データセットに対しても、アルゴリズムはスケーラブルか？

主な発見

• 提案されたアルゴリズムはやや弱い仮定のもとで、新たに導出されたSB-KKT条件を満たす点への収束を達成し、バイレベル$β_p$-ハイパーパrameter学習における理論的保証を初めて提供する。
• 13個のハイパーパrameterを有するCpuSmallデータセットでは、0.66秒で検証誤差$1.285 \times 10^5$の解を発見したが、ベイズ最適化はより悪い値に到達するまでに531.8秒を要した。
• 273個のハイパーパrameterを有するStudentデータセットでは、1.45秒で検証誤差0.771を達成したが、ベイズ最適化は26.76秒かけて18.324までしか低下しなかった。
• p=1のFacebookデータセットでは、17.4秒で検証誤差6.474に到達したが、ベイズ最適化は42.26秒かけて6.476までしか低下しなかった。
• ベイズ最適化やグリッドサーチに比べ、アルゴリズムはより速くより良いまたは同等の解を一貫して得ており、高価なラインサーチ手順を必要としない。
• 補足結果から、延長時間制限下でも、ベイズ最適化よりも常に早く最良の解に到達することが示された。