[论文解读] Modeling the Machine Learning Multiverse

Samuel J. Bell, Onno P. Kampman+2 more|arXiv (Cornell University)|Jun 13, 2022

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

本文通过使用高斯过程代理模型和贝叶斯实验设计，提出了一种多世界分析框架，以实现稳健且可泛化的机器学习研究。结果表明，关于自适应优化器和大批次训练泛化差距的主张对学习率极为敏感，挑战了广泛存在的假设，并倡导通过探索而非优化来确保可复现性。

ABSTRACT

Amid mounting concern about the reliability and credibility of machine learning research, we present a principled framework for making robust and generalizable claims: the multiverse analysis. Our framework builds upon the multiverse analysis (Steegen et al., 2016) introduced in response to psychology's own reproducibility crisis. To efficiently explore high-dimensional and often continuous ML search spaces, we model the multiverse with a Gaussian Process surrogate and apply Bayesian experimental design. Our framework is designed to facilitate drawing robust scientific conclusions about model performance, and thus our approach focuses on exploration rather than conventional optimization. In the first of two case studies, we investigate disputed claims about the relative merit of adaptive optimizers. Second, we synthesize conflicting research on the effect of learning rate on the large batch training generalization gap. For the machine learning community, the multiverse analysis is a simple and effective technique for identifying robust claims, for increasing transparency, and a step toward improved reproducibility.

研究动机与目标

• 通过将研究者决策形式化为一系列备选方案，解决机器学习中的可复现性危机。
• 克服在高维连续机器学习超参数空间中进行穷举搜索的不可行性。
• 通过系统评估不同方法选择对模型性能的影响，实现稳健的科学结论。
• 将关注点从优化转向探索，以评估机器学习研究发现的泛化能力和可信度。
• 提供一种有原则且透明的框架，以整合相互矛盾的研究成果，并减少研究者的自由度。

提出的方法

• 将多世界建模为一个搜索空间 $\mathcal{X}$ 和一个评估函数 $\ell$（例如，测试准确率），以表示研究者决策。
• 使用高斯过程（GP）代理模型将 $\ell$ 建模为输入的噪声函数，从而高效地近似多世界。
• 应用贝叶斯实验设计并结合采集函数，迭代采样并评估新配置，以最小化评估次数。
• 以Sobol序列作为初始设计，以确保在高维空间中具有低差异性覆盖。
• 将GP模型拟合到采样点 $X_0$ 及其对应结果 $Y_0$，并随着新批次 $X_i, Y_i$ 的到来迭代更新。
• 利用GP代理模型高效探索多世界，避免对所有可能决策路径进行穷举枚举。

实验结果

研究问题

• RQ1 不同的超参数选择，尤其是学习率，如何影响自适应优化器的相对性能？
• RQ2 大批次训练中是否存在泛化差距？批量大小与学习率之间如何相互作用？
• RQ3 在多世界中，关于模型性能的主张在多大程度上对不同的方法选择具有鲁棒性？
• RQ4 多世界分析在多大程度上能揭示超参数之间的隐藏依赖关系和交互作用，从而否定广泛的泛化结论？
• RQ5 多世界分析如何提升机器学习研究的透明度和可复现性？

主要发现

• 自适应优化器的相对优势对学习率极为敏感，在不同学习率范围内，性能差异可能消失甚至反转。
• 大批次训练中并不存在普遍的泛化差距；相反，批量大小与学习率之间的复杂交互作用决定了泛化误差。
• 将初始学习率与批量大小线性缩放的做法被证实是一种稳健且可泛化的实践。
• 多世界分析框架成功识别出稳健的结论，揭示了对特定超参数（尤其是学习率）的敏感性。
• 使用GP代理模型显著减少了所需模型评估的次数，使得在高维机器学习空间中进行多世界探索成为可能。
• 该方法凸显了非稳健结果及其下游后果造成了计算和环境资源的重大浪费。