[论文解读] Guaranteeing Reproducibility in Deep Learning Competitions

Brandon Houghton, Stephanie Milani+6 more|arXiv (Cornell University)|May 12, 2020

Adversarial Robustness in Machine Learning参考文献 5被引用 4

一句话总结

本文提出了一种深度学习的新竞赛范式，通过在保留的测试环境中以受控条件重新训练所有最终提交结果，确保结果的可复现性。通过评估学习过程而非预训练智能体，并对计算资源和数据施加严格限制，该方法确保了鲁棒性、泛化能力，并减少了对特定领域知识的利用，如在样本高效强化学习的MineRL竞赛中所展示的那样。

ABSTRACT

To encourage the development of methods with reproducible and robust training behavior, we propose a challenge paradigm where competitors are evaluated directly on the performance of their learning procedures rather than pre-trained agents. Since competition organizers re-train proposed methods in a controlled setting they can guarantee reproducibility, and -- by retraining submissions using a held-out test set -- help ensure generalization past the environments on which they were trained.

研究动机与目标

• 为解决深度学习竞赛中因对特定环境过拟合及未记录的修改而导致的结果不可复现和泛化能力差的问题。
• 通过将评估重点从预训练智能体转向学习过程，鼓励开发样本高效的算法。
• 通过要求在带有新材质包的扰动环境中重新训练，减少对特定领域知识的依赖。
• 通过将重新训练限制在第二轮中表现最佳的团队，为组织者提供可扩展的计算模型。
• 通过提供成功提交结果的文字和视频演示，提升参赛者的参与度和信心。

提出的方法

• 竞赛组织者在受控环境中重新训练所有最终提交结果，使用保留的测试集和新的材质包，以确保可复现性和鲁棒性。
• 参赛者根据其学习过程的表现进行评估，而非预训练智能体，从而促进在训练环境之外的泛化能力。
• 提供大规模的人类演示数据集——包括专家和非专家演示——以提升样本效率，子任务通过简单指标（如完成时间）定义。
• 通过视觉变化对数据集进行重新模拟，创建第二个视觉上不同但语义等价的数据集，以支持分布偏移测试。
• 采用两轮竞赛结构：第一轮允许广泛参与，第二轮将重新训练限制在前10名团队，以控制计算成本。
• 组织者对计算时间与环境样本数量施加限制，以确保样本效率并防止过拟合。

实验结果

研究问题

• RQ1 如何设计深度学习竞赛，以在训练设置和环境配置存在差异的情况下，确保结果的可复现性？
• RQ2 在多大程度上可以独立于预训练模型评估学习过程，以促进泛化能力和鲁棒性？
• RQ3 演示——尤其是非专家或众包获取的演示——在不依赖昂贵专家标注的情况下，对提升样本效率起到什么作用？
• RQ4 竞赛组织者如何在需要在受控扰动环境中重新训练提交结果的同时，平衡计算成本？
• RQ5 视觉扰动（如新材质包）对所学策略的鲁棒性有何影响，以及如何利用它们来验证泛化能力？

主要发现

• 在全新、此前未见过的环境材质包中重新训练最终提交结果，可确保可复现性，并验证对视觉分布偏移的鲁棒性。
• 两轮竞赛结构成功控制了计算开销，同时仍能对表现最佳的模型进行严格重新评估。
• 提供成功提交结果的文字和视频演示，显著提升了参赛者的信心，并在整个竞赛期间维持了高度参与度。
• 通过使用简单子任务指标的众包演示，实现了有效的模仿学习，而无需昂贵的专家标注。
• 通过使用视觉特征改变的重模拟数据集，创建了语义等价但视觉上不同的训练集和测试集，增强了泛化能力的测试。
• 该范式成功减少了对环境特定知识的利用，因为依赖此类线索的策略在新材质包测试中均告失败。