[论文解读] Best Practices for Scientific Research on Neural Architecture Search

Marius Lindauer, Frank Hutter|arXiv (Cornell University)|Sep 5, 2019

Machine Learning and Data Classification参考文献 53被引用 90

一句话总结

本论文提出了一套全面的最佳实践，以提升神经架构搜索（NAS）研究的可重复性、公平评估和进展，包括代码发布、基准测试、消融和标准化报告。

ABSTRACT

Finding a well-performing architecture is often tedious for both DL practitioners and researchers, leading to tremendous interest in the automation of this task by means of neural architecture search (NAS). Although the community has made major strides in developing better NAS methods, the quality of scientific empirical evaluations in the young field of NAS is still lacking behind that of other areas of machine learning. To address this issue, we describe a set of possible issues and ways to avoid them, leading to the NAS best practices checklist available at http://automl.org/nas_checklist.pdf.

研究动机与目标

• 促进 NAS 实验的可重复性和透明度。
• 提供一个规定性清单，以提升 NAS 的经验评估质量。
• 鼓励使用标准化基准和开源工具进行公平比较。

提出的方法

• 倡导发布训练管道和 NAS 方法代码，以实现可重复性和公平比较。
• 建议使用 NAS 基准（数据集、搜索空间和训练管道）以确保可比结果。
• 建议进行消融研究，以分离 NAS 方法中每个组件的贡献。
• 提出将性能作为计算资源的函数来报告，以为结果提供上下文。
• 倡导与简单基线（随机采样和随机搜索）及多个种子进行比较，以评估随机性。
• 在全套实验资源成本过高时，鼓励使用表格/替代基准，以实现大规模、可重复的评估。

实验结果

研究问题

• RQ1 应如何开展 NAS 实验，以确保跨研究者和数据集的可重复性？
• RQ2 哪些基准测试和报告标准最能支持对 NAS 方法的公平比较？
• RQ3 为了对 NAS 评估的鲁棒性，哪些基线比较和实验做法（例如消融、多个种子）是必要的？
• RQ4 基准测试和开源工具如何降低 NAS 研究中的混杂因素？

主要发现

• 应发布代码和训练管道，以促进 NAS 方法之间的有意义比较。
• NAS 基准应定义数据集、搜索空间和训练管道，并提供可运行的代码，以实现公平评估。
• 消融研究对于理解哪些组件驱动 NAS 性能至关重要。
• 应将性能作为计算资源的函数来报告，考虑端到端成本。
• 比较应包括简单基线，如随机采样和随机搜索，以及多种种子以增强鲁棒性。
• 当全套实验资源密集时，鼓励使用表格或代理基准，以实现可扩展、可重复的研究。