[论文解读] Playing Minecraft with Behavioural Cloning

Anssi Kanervisto, Janne Karttunen+1 more|arXiv (Cornell University)|May 7, 2020

Artificial Intelligence in Games参考文献 23被引用 4

一句话总结

该论文提出了一种行为克隆方法，利用人类游戏示范在Minecraft中训练智能体，在MineRL 2019竞赛中获得第五名。尽管方法简单，其性能却高度依赖于训练停止时间、动作分布中的类别不平衡以及工程选择——这表明行为克隆同样需要仔细调参和方差报告，如同强化学习一样。

ABSTRACT

MineRL 2019 competition challenged participants to train sample-efficient agents to play Minecraft, by using a dataset of human gameplay and a limit number of steps the environment. We approached this task with behavioural cloning by predicting what actions human players would take, and reached fifth place in the final ranking. Despite being a simple algorithm, we observed the performance of such an approach can vary significantly, based on when the training is stopped. In this paper, we detail our submission to the competition, run further experiments to study how performance varied over training and study how different engineering decisions affected these results.

研究动机与目标

• 使用仅行为克隆的方法开发一个鲁棒且样本高效的Minecraft智能体，避免强化学习带来的不稳定性。
• 探究尽管方法简单，为何行为克隆在不同训练运行中的性能差异显著。
• 分析数据集采样策略、类别不平衡以及数据增强对智能体性能的影响。
• 评估工程决策（如早停、回放缓冲区和标签平滑）在改善行为克隆结果中的作用。
• 倡导在行为克隆结果中报告方差，如同强化学习中的最佳实践。

提出的方法

• 智能体使用监督学习从观测中预测动作，模仿MineRL数据集中的人类示范。
• 基于验证性能在特定训练周期停止训练，使用早停以避免过拟合和分布偏移。
• 采用回放缓冲区通过从训练数据中重新采样来稳定学习，尤其用于改善稀有动作的预测。
• 应用标签平滑以缓解数据集中过度代表动作带来的偏差。
• 对表现欠佳的稀有动作（如制作、放置工作台）使用硬编码动作，以提升最终性能。
• 模型在基于视觉的观测空间和离散动作空间上进行训练，包含13个离散动作和2个连续相机控制。

实验结果

研究问题

• RQ1 在Minecraft中，行为克隆智能体的性能如何随不同训练周期变化，其方差的成因是什么？
• RQ2 人类示范数据集中类别不平衡在多大程度上影响智能体学习稀有但关键动作的能力？
• RQ3 工程选择（如数据采样、回放缓冲区和标签平滑）在多大程度上影响行为克隆性能？
• RQ4 对低频动作使用硬编码动作是否能显著提升复杂环境中样本高效模仿学习的性能？
• RQ5 为何行为克隆智能体在作为简单监督学习方法时仍表现出高性能方差？

主要发现

• 该智能体在MineRL 2019竞赛中获得第五名，表明行为克隆在复杂、基于视觉的环境中可与强化学习相媲美。
• 性能显著依赖于训练停止时间，最优停止时间可使评估得分提升30–92%。
• 尽管数据集中代表性极低（如制作木镐仅占0.01%），模型仍能以超过50%的概率预测该动作，表明具备一定的泛化能力。
• 即使在需要时，智能体仍难以放置工作台（99.52%的动作为“无”），暴露出执行关键动作的重大失败。
• 为制作和放置动作添加硬编码逻辑后，评估性能提升30–92%，其中一个智能体在200场比赛中有3场达到291分的奖励。
• 按类别稀有度加权损失或对常见动作进行欠采样并未改善结果，表明可能需要更复杂的采样方法（如SMOTE）。