[论文解读] A Resizable Mini-batch Gradient Descent based on a Randomized Weighted Majority

Seong Jin Cho, Sunghun Kang+1 more|arXiv (Cornell University)|Jan 1, 2017

Machine Learning and ELM被引用 2

一句话总结

本文提出了一种可扩展小批量梯度下降（RMGD）算法，该算法通过利用历史表现和验证误差所指导的概率分布，在每个周期动态选择小批量大小。通过在探索新小批量大小与利用成功配置之间取得平衡，RMGD 在准确率和训练速度方面均优于固定小批量大小基线方法以及网格搜索。

ABSTRACT

Determining the appropriate batch size for mini-batch gradient descent is always time consuming as it often relies on grid search. This paper considers a resizable mini-batch gradient descent (RMGD) algorithm-inspired by the randomized weighted majority algorithm-for achieving best performance in grid search by selecting an appropriate batch size at each epoch with a probability defined as a function of its previous success/failure and the validation error. This probability encourages exploration of different batch size and then later exploitation of batch size with history of success. At each epoch, the RMGD samples a batch size from its probability distribution, then uses the selected batch size for mini-batch gradient descent. After obtaining the validation error at each epoch, the probability distribution is updated to incorporate the effectiveness of the sampled batch size. The RMGD essentially assists the learning process to explore the possible domain of the batch size and exploit successful batch size. Experimental results show that the RMGD achieves performance better than the best performing single batch size. Furthermore, it attains this performance in a shorter amount of time than that of the best performing. It is surprising that the RMGD achieves better performance than grid search.

研究动机与目标

• 为解决传统小批量梯度下降中因依赖网格搜索而导致的小批量大小选择耗时问题。
• 通过在训练过程中实现小批量大小的自适应选择，减少对全面超参数调优的需求。
• 通过智能地探索和利用小批量大小配置，提升模型泛化能力和收敛速度。
• 开发一种方法，使其性能优于通过网格搜索找到的最佳单一小批量大小。

提出的方法

• RMGD 算法维护一个可能的小批量大小的概率分布，该分布根据每种小批量大小在减少验证误差方面的历史表现进行更新。
• 在每个周期，使用随机加权多数机制从该分布中采样一个小批量大小。
• 在每个周期结束后，通过在验证集上评估模型性能，来评估所采样小批量大小的有效性。
• 使用加权多数规则更新概率分布，提高那些产生更低验证误差的小批量大小的采样概率。
• 通过自适应的概率重加权，实现对新小批量大小的探索与对先前成功配置的利用之间的平衡。
• 核心机制采用一种概率更新规则，该规则同时结合了成功/失败反馈以及验证误差的大小。

实验结果

研究问题

• RQ1 动态小批量大小选择策略是否能在模型准确率和训练效率方面优于固定小批量大小配置？
• RQ2 自适应小批量大小机制在多大程度上能够减少超参数调优中对网格搜索的依赖？
• RQ3 在小批量大小选择中平衡探索与利用，是否能带来更快的收敛速度和更好的泛化性能？
• RQ4 随机加权多数方法是否能有效引导训练过程中的小批量大小自适应？

主要发现

• RMGD 在泛化性能方面优于通过网格搜索确定的最佳单一小批量大小。
• 与表现最佳的固定小批量大小相比，RMGD 方法在更短的训练时间内实现了更优的模型性能。
• 该算法在训练初期有效探索了多样化的小批量大小，并逐步利用最成功配置。
• 动态自适应机制相比静态小批量大小策略，实现了更快的收敛速度和更低的验证误差。