[论文解读] An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
本文提出子采样（SS），一种渐近最优的多臂赌博机算法，通过使用观测数据的子样本评估超参数，以最小化累积遗憾。该方法与贝叶斯优化结合形成BOSS，在神经架构搜索、数据增强、目标检测和强化学习任务中表现出更优的样本效率和鲁棒性。
The evaluation of hyperparameters, neural architectures, or data augmentation policies becomes a critical model selection problem in advanced deep learning with a large hyperparameter search space. In this paper, we propose an efficient and robust bandit-based algorithm called Sub-Sampling (SS) in the scenario of hyperparameter search evaluation. It evaluates the potential of hyperparameters by the sub-samples of observations and is theoretically proved to be optimal under the criterion of cumulative regret. We further combine SS with Bayesian Optimization and develop a novel hyperparameter optimization algorithm called BOSS. Empirical studies validate our theoretical arguments of SS and demonstrate the superior performance of BOSS on a number of applications, including Neural Architecture Search (NAS), Data Augmentation (DA), Object Detection (OD), and Reinforcement Learning (RL).
研究动机与目标
- 解决深度学习中大规模搜索空间下高效且鲁棒的超参数评估挑战。
- 开发一种能通过子采样实现早期停止的赌博机算法，以最小化累积遗憾。
- 将子采样方法与贝叶斯优化结合，以提升超参数优化中代理模型的学习效率。
- 验证SS的理论最优性以及BOSS在多样化机器学习任务中的经验优越性。
提出的方法
- 提出子采样（SS），一种利用训练数据子样本估计超参数潜力的赌博机算法，以降低评估成本。
- 理论分析证明，在指数族假设下，SS在累积遗憾方面达到渐近最优。
- 推导了适用于指数族分布的新切尔诺夫不等式，以支持SS的遗憾分析。
- 将SS与贝叶斯优化结合，形成BOSS，一种混合算法，利用高质量的子样本评估结果来优化代理模型。
- 在SS中采用类似逐次减半的预算分配策略，但对其进行修改，以优先考虑累积遗憾最小化而非最优臂识别。
- 使用大偏差率函数 $ I_k(a) $ 来界定尾部概率，并推导子样本奖励的遗憾边界。
实验结果
研究问题
- RQ1基于子采样的赌博机算法是否能在超参数评估中实现累积遗憾的渐近最优？
- RQ2与逐次减半方法相比，子采样在超参数优化中如何提升鲁棒性和效率？
- RQ3将子采样与贝叶斯优化结合，能在多大程度上提升超参数搜索中的样本效率？
- RQ4在何种场景下，所提出的方法优于HyperBand或BOHB等现有方法？
主要发现
- 在指数族假设下，子采样（SS）算法在理论上被证明能最小化累积遗憾，具有渐近最优性。
- BOSS——SS与贝叶斯优化的结合——在多个基准测试中表现优异，涵盖神经架构搜索、数据增强、目标检测和强化学习。
- 实证结果表明，SS比基于逐次减半的方法更快、更可靠地识别出最佳超参数配置。
- 通过子采样降低方差，该方法在高维搜索空间中显著提升了超参数评估的鲁棒性。
- SS的理论遗憾边界基于针对指数族的新型切尔诺夫不等式推导得出，扩展了先前对赌博机遗憾分析的研究。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。