[论文解读] Hyper-Parameter Sweep on AlphaZero General

Hui Wang, Michael Emmerich+2 more|arXiv (Cornell University)|Mar 19, 2019

Artificial Intelligence in Games参考文献 24被引用 8

一句话总结

本文对 AlphaZeroGeneral 进行了全面的超参数搜索，评估了 12 个关键参数在 6×6 Othello 游戏中的训练损失、Elo 等级分和时间成本。研究识别出时间敏感型与时间友好型参数，揭示了非单调的性能趋势（例如，最优值可能超出最大值），并为基于 AlphaZero 的智能体提供了数据驱动的超参数优化基础。

ABSTRACT

Since AlphaGo and AlphaGo Zero have achieved breakground successes in the game of Go, the programs have been generalized to solve other tasks. Subsequently, AlphaZero was developed to play Go, Chess and Shogi. In the literature, the algorithms are explained well. However, AlphaZero contains many parameters, and for neither AlphaGo, AlphaGo Zero nor AlphaZero, there is sufficient discussion about how to set parameter values in these algorithms. Therefore, in this paper, we choose 12 parameters in AlphaZero and evaluate how these parameters contribute to training. We focus on three objectives~(training loss, time cost and playing strength). For each parameter, we train 3 models using 3 different values~(minimum value, default value, maximum value). We use the game of play 6$ imes$6 Othello, on the AlphaZeroGeneral open source re-implementation of AlphaZero. Overall, experimental results show that different values can lead to different training results, proving the importance of such a parameter sweep. We categorize these 12 parameters into time-sensitive parameters and time-friendly parameters. Moreover, through multi-objective analysis, this paper provides an insightful basis for further hyper-parameter optimization.

研究动机与目标

• 为解决 AlphaZero 及其相关算法中缺乏系统性超参数调优指导的问题，特别是针对原始 DeepMind 发表文献中未充分记录的超参数。
• 评估 12 个核心超参数对三个关键目标的影响：训练损失、对弈强度（Elo 等级分）和计算时间成本。
• 根据其对训练时长的影响，将参数分类为时间敏感型或时间友好型，以支持更高效的优化策略。
• 为 AlphaZeroGeneral 提供基于数据驱动的实证基础，支持超参数选择，并具备向其他游戏和任务的可迁移性。

提出的方法

• 本研究使用轻量级开源的 AlphaZero 重实现版本 AlphaZeroGeneral，对每个参数训练 3 个模型，分别采用最小值、默认值和最大值。
• 每次实验仅改变一个参数，其余参数均保持默认值，以确保评估的可控性。
• 采用三项评估指标：1000 步训练过程中的平均损失、1000 场对局后的最终 Elo 等级分，以及以小时为单位的总训练时间。
• 通过经验数据推导出时间成本函数（公式 2），实现对每种参数设置下计算开销的量化。
• 根据参数对训练时长的影响，将参数分类为时间敏感型或时间友好型，并对性能趋势进行统计分析。
• 执行多目标分析，以识别在损失、强度和效率之间实现帕累托最优的参数配置。

实验结果

研究问题

• RQ1 12 个超参数的不同取值如何影响 AlphaZeroGeneral 的训练损失、Elo 等级分和时间成本？
• RQ2 哪些超参数属于时间敏感型（显著影响训练时间）？哪些属于时间友好型（对时间影响微小）？
• RQ3 增加参数值是否总是能提升性能？是否存在性能开始下降的最优值？
• RQ4 多目标分析能否识别出在训练效率、损失降低和对弈强度之间实现平衡的参数配置？
• RQ5 在最小化训练损失、最大化 Elo 等级分和减少时间成本方面，最具有前景的超参数设置是什么？

主要发现

• 参数 'mctssimu'（每步 MCTS 模拟次数）对 Elo 等级分有显著正向影响，200 次模拟时达到最高性能，但显著增加了时间成本。
• 'iteration' 参数（每轮训练阶段的自我对弈游戏数）与性能之间呈现非单调关系：默认值 100 在损失与 Elo 等级分之间达到最佳平衡，而更高值（如 200）反而导致性能下降。
• 'batchsize' 参数与时间成本呈强负相关：较大的批量大小（如 64）相比小批量（如 32）可将训练时间减少 16%，表明其具有高度时间敏感性。
• 'updateThreshold' 参数（控制神经网络策略更新的时机）在 0.6 时达到最高 Elo 等级分，表明存在非平凡的最优值，而非随数值增加而单调提升。
• 像 'Cpuct'、'learningrate'、'dropout' 和 'tempThreshold' 这类参数被归类为时间友好型，因为其变化对训练时长影响极小，可安全地用于性能调优。
• 'arenacompare' 参数（竞技场比较中的对局数）对 Elo 等级分和时间成本均影响甚微，表明可自由调节而无需在性能或效率之间权衡。