[論文レビュー] Efficient hyperparameter optimization by way of PAC-Bayes bound minimization

John J. Cherian, Andrew G. Taube+7 more|arXiv (Cornell University)|Aug 14, 2020

Machine Learning and Data Classification参考文献 48被引用数 4

ひとこと要約

本稿では、高次元のハイパーパrameter設定における過学習を軽減するため、PAC-Bayes境界の最小化に基づく新しいハイパーパrameter最適化手法を提案する。目的関数を微分可能であるPAC-Bayes一般化境界として定式化し、勾配に基づく最適化を用いることで、従来の手法に比べてより優れた汎化性能を達成し、漸近的計算量は既存手法と同等またはそれを上回る。

ABSTRACT

Identifying optimal values for a high-dimensional set of hyperparameters is a problem that has received growing attention given its importance to large-scale machine learning applications such as neural architecture search. Recently developed optimization methods can be used to select thousands or even millions of hyperparameters. Such methods often yield overfit models, however, leading to poor performance on unseen data. We argue that this overfitting results from using the standard hyperparameter optimization objective function. Here we present an alternative objective that is equivalent to a Probably Approximately Correct-Bayes (PAC-Bayes) bound on the expected out-of-sample error. We then devise an efficient gradient-based algorithm to minimize this objective; the proposed method has asymptotic space and time complexity equal to or better than other gradient-based hyperparameter optimization methods. We show that this new method significantly reduces out-of-sample error when applied to hyperparameter optimization problems known to be prone to overfitting.

研究の動機と目的

• ニューラルアーキテクチャサーチなどの大規模機械学習応用分野で特に顕著な過学習を解消する、高次元ハイパーパrameter最適化における過学習問題に対処すること。
• PAC-Bayes理論を活用して、未知のデータへの一般化性能を向上させる新しい最適化目的関数の開発。
• PAC-Bayes境界を最小化する効率的な勾配ベースのアルゴリズムの設計。空間的・時間的計算量の最適化を実現。
• 過学習に起因しやすいハイパーパrameter最適化問題において、実験的に優れた汎化性能を示す。

提案手法

• ハイパーパrameter最適化を、期待される汎化誤差のPAC-Bayes境界の最小化問題として定式化する。
• PAC-Bayes一般化境界から導出された微分可能な目的関数を導入し、勾配に基づく最適化を可能にする。
• 確率的勾配降下法を用いて、モデルの一般化誤差推定値を逆伝播することでハイパーパramータを最適化する。
• 既存の勾配ベースのハイパーパrameter最適化手法と同等またはそれ以上の漸近的空間的・時間的計算量を維持する。
• ハイパーパramータを確率的変数とみなし、事後分布を導入することでベイジアン一般化境界を最適化に活用する。
• 現代のディープラーニングワークロードに適した、数千乃至数百万のハイパーパramータにスケーラブルな手法である。

実験結果

リサーチクエスチョン

• RQ1 標準的な経験的リスク最小化に比べ、PAC-Bayesに基づく目的関数は高次元ハイパーパrameter最適化における過学習を軽減できるか？
• RQ2 提案手法の勾配ベース最適化は、既存のハイパーパrameter最適化技術と比較して計算量の観点でどのように異なるか？
• RQ3 PAC-Bayes境界の最小化は、実用的なハイパーパrameterチューニングタスクにおいて、未知のデータへの一般化性能を向上させるか？
• RQ4 本手法は、ニューラルアーキテクチャサーチで一般的に見られる大規模なハイパーパラメータ空間に効率的にスケーリング可能か？
• RQ5 ベンチマーク上のハイパーパラメータ最適化問題において、PAC-Bayes目的関数の導入が汎化誤差に与える実験的影響は何か？

主な発見

• 過学習に起因しやすい問題において、本手法は標準的なハイパーパラメータ最適化手法に比べ、汎化誤差を顕著に低減する。
• 本手法は、既存の勾配ベースのハイパーパラメータ最適化手法と同等またはそれ以上の漸近的空間的・時間的計算量を達成する。
• PAC-Bayes境界を最小化することで、追加のハイパーパラメータチューニングや検証データを必要とせずに一般化性能が向上する。
• 本手法は、特に高次元設定において多様なハイパーパラメータ最適化タスクにおいて、頑健な性能を示す。
• 実験的結果により、PAC-Bayes目的関数が未知のデータへの一般化性能を向上させるモデルを生成することを確認し、理論的基盤の妥当性が裏付けられた。