[論文レビュー] An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization

Yimin Huang, Yujun Li+3 more|arXiv (Cornell University)|Jul 11, 2020

Advanced Bandit Algorithms Research参考文献 70被引用数 6

ひとこと要約

本稿では、観測値の部分集合を用いてハイパーパramータを評価することで累積リグレットを最小化する、漸近的に最適なマルチアームバンディットアルゴリズムであるサブサンプリング（SS）を提案する。この手法はベイズ最適化と統合されBOSSを形成し、ニューラルアーキテクチャサーチ、データ拡張、オブジェクト検出、強化学習において、より高いサンプル効率と頑健性を示す優れた性能を発揮する。

ABSTRACT

The evaluation of hyperparameters, neural architectures, or data augmentation policies becomes a critical model selection problem in advanced deep learning with a large hyperparameter search space. In this paper, we propose an efficient and robust bandit-based algorithm called Sub-Sampling (SS) in the scenario of hyperparameter search evaluation. It evaluates the potential of hyperparameters by the sub-samples of observations and is theoretically proved to be optimal under the criterion of cumulative regret. We further combine SS with Bayesian Optimization and develop a novel hyperparameter optimization algorithm called BOSS. Empirical studies validate our theoretical arguments of SS and demonstrate the superior performance of BOSS on a number of applications, including Neural Architecture Search (NAS), Data Augmentation (DA), Object Detection (OD), and Reinforcement Learning (RL).

研究の動機と目的

• 深層学習において一般的に見られる大規模な探索空間における、効率的で頑健なハイパーパramータ評価の課題に取り組む。
• サブサンプリングを用いて累積リグレットを最小化すると同時に、早期停止を可能にするバンディットアルゴリズムの開発。
• サブサンプリングのアプローチをベイズ最適化と統合し、ハイパーパramータ最適化におけるスレーブモデル学習の改善を図る。
• SSの理論的最適性と、BOSSの実験的優位性を、多様な機械学習タスクにおいて検証する。

提案手法

• 訓練データの部分集合を用いてハイパーパramータの潜在的性能を推定することで、評価コストを削減するバンディットアルゴリズムであるサブサンプリング（SS）を提案する。
• 理論的分析により、指数型分布族の仮定の下で、SSが累積リグレットの意味で漸近的に最適であることを証明する。
• SSのリグレット分析を支援するため、指数型分布族に対する新しいチェルノフ不等式を導出する。
• SSをベイズ最適化と統合し、高品質なサブサンプリング評価をスレーブモデルに反映するハイブリッドアルゴリズムBOSSを構築する。
• 累積リグレット最小化を最優先とする一方で、最良の腕を特定するのを目的とする従来の成功的ハーフィング戦略を模倣した予算配分戦略をSSに採用するが、それを改変する。
• 大偏差率関数 $ I_k(a) $ を用いて尾確率をバインドし、サブサンプリングされた報酬のリグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 サブサンプリングに基づくバンディットアルゴリズムは、ハイパーパramータ評価において累積リグレットの意味で漸近的に最適に達成できるか？
• RQ2 ハイパーパラメータ最適化において、サブサンプリングは、成功的ハーフィング法と比較して、どのように効率性と頑健性を向上させるか？
• RQ3 サブサンプリングをベイズ最適化と統合することで、ハイパーパラメータ探索におけるサンプル効率はどの程度向上するか？
• RQ4 本手法は、HyperBand や BOHB といった既存手法と比較して、どのような状況で優れた性能を発揮するか？

主な発見

• サブサンプリング（SS）アルゴリズムは、指数型分布族の仮定の下で、理論的に累積リグレットの意味で漸近的に最適であることが証明されている。
• SSとベイズ最適化を統合したBOSSは、NAS、データ拡張、オブジェクト検出、強化学習を含む複数のベンチマークで優れた性能を示している。
• 実験結果から、SSは成功的ハーフィングに基づく手法よりも、最良のハイパーパラメータ設定をより速くかつ信頼性高く特定していることが示された。
• 特に高次元探索空間において、サブサンプリングによる分散低減により、ハイパーパラメータ評価の頑健性が向上している。
• SSの理論的リグレットバウンドは、指数型分布族に対する新しいチェルノフ不等式を用いて導出されており、従来のバンディットリグレット解析の研究を拡張している。