[论文解读] Expanding search in the space of empirical ML

Bronwyn Woods|arXiv (Cornell University)|Dec 4, 2018

Reinforcement Learning in Robotics参考文献 9被引用 4

一句话总结

本文主张扩展机器学习会议文化，以重视超越算法新颖性的实证研究，倡导系统性认可数据、目标和实验综合工作。它提出重新定义新颖性，设立专门的综合与开放世界实验研究轨道，并激励产业与学术界合作，以提升机器学习研究的可复现性和实际应用价值。

ABSTRACT

As researchers and practitioners of applied machine learning, we are given a set of requirements on the problem to be solved, the plausibly obtainable data, and the computational resources available. We aim to find (within those bounds) reliably useful combinations of problem, data, and algorithm. An emphasis on algorithmic or technical novelty in ML conference publications leads to exploration of one dimension of this space. Data collection and ML deployment at scale in industry settings offers an environment for exploring the others. Our conferences and reviewing criteria can better support empirical ML by soliciting and incentivizing experimentation and synthesis independent of algorithmic innovation.

研究动机与目标

• 解决机器学习会议激励机制失衡的问题，即过度偏重算法新颖性，而忽视对数据和目标维度的实证探索。
• 强调数据和目标可变性在塑造真实世界机器学习性能方面被低估的作用，超越基于基准的算法比较。
• 提出对会议文化与评审标准进行结构性改革，以支持并激励非算法性实证贡献，如综合、观察与开放世界实验。
• 通过认可产业从业者在大规模真实世界数据与系统性能分析中的价值，加强机器学习研究的可复现性与实际相关性。
• 通过为产业研究人员提供无需具备算法新颖性的实证洞察贡献路径，弥合学术创新与工业部署之间的差距。

提出的方法

• 将机器学习研究空间重构为三维搜索空间：目标、数据与算法，主张所有维度都应获得同等的方法论关注。
• 提议重新定义会议投稿中的‘新颖性’，将其扩展至包含对现有算法在多样化数据与目标上进行比较实证研究所得的见解。
• 倡导设立专门的会议轨道——以IEEE S&P SoK轨道和Distill出版模式为蓝本——聚焦系统性综合、分类学以及基于证据的挑战长期固有信念。
• 鼓励征集来自产业研究人员的开放世界实验结果，他们可获取在多样化条件下真实世界数据与系统性能的实证数据。
• 支持创建共享的代表性数据集与改进的工具链，以降低可复现实证工作的门槛，同时强调此类工具无法替代系统性实验的必要性。
• 促进算法研究人员与开放世界实验者之间的合作，以识别并解决现有模型在实际应用中的关键差距。

实验结果

研究问题

• RQ1 机器学习会议如何更好地认可并激励不涉及算法创新的实证研究？
• RQ2 数据与目标维度在塑造机器学习系统性能与泛化能力方面发挥什么作用？为何当前研究文化对这些维度的探索不足？
• RQ3 现有会议格式与评审标准如何调整，以支持对已知算法在多样化数据集与真实世界场景下的综合与观察性研究？
• RQ4 需要哪些结构性改革，才能将产业从业者的洞察有效整合进学术话语中，尤其是当他们的工作缺乏算法新颖性时？
• RQ5 开放世界实验与共享数据集在多大程度上能提升机器学习研究的可复现性与实际相关性？

主要发现

• 当前会议文化系统性地低估了实证机器学习研究，过度偏重算法新颖性，而忽视了数据、目标与系统级实验的洞察价值。
• 基准数据集常被视为固定且具代表性，但其引入的抽样变异性和偏差显著影响性能度量与泛化能力。
• 当实验变异性（如超参数调优、随机种子与代码库差异）未被系统性报告或控制时，可复现性受到严重损害。
• 现有研究表明，通过充分调优，旧模型可超越新模型，表明报告的性能提升可能源于实验噪声而非算法进步。
• 综合与观察性研究（如IEEE S&P SoK轨道或Distill中的研究）表明，非算法性贡献可对系统行为、性能模式与长期假设产生高影响力洞察。
• 产业研究人员拥有来自真实世界部署的关键实证知识，但其贡献常因激励机制与出版规范错配而被排除在学术话语之外。