[论文解读] Application-Driven Innovation in Machine Learning

David Rolnick, Alán Aspuru‐Guzik+9 more|arXiv (Cornell University)|Mar 26, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本文倡导在机器学习领域推行以应用为导向的创新（ADML），将其视为方法驱动研究的重要补充，认为现实世界挑战能够激发具有更广泛影响的新型算法。文章将ADML与传统以基准测试为导向的方法进行对比，指出在评审、招聘和教育中存在系统性偏见，使以应用为导向的工作被边缘化，并提出改革措施，以在机器学习研究生态系统中实现ADML的平等整合与认可。

ABSTRACT

In this position paper, we argue that application-driven research has been systemically under-valued in the machine learning community. As applications of machine learning proliferate, innovative algorithms inspired by specific real-world challenges have become increasingly important. Such work offers the potential for significant impact not merely in domains of application but also in machine learning itself. In this paper, we describe the paradigm of application-driven research in machine learning, contrasting it with the more standard paradigm of methods-driven research. We illustrate the benefits of application-driven machine learning and how this approach can productively synergize with methods-driven work. Despite these benefits, we find that reviewing, hiring, and teaching practices in machine learning often hold back application-driven innovation. We outline how these processes may be improved.

研究动机与目标

• 定义并确立以应用为导向的机器学习（ADML）作为与方法驱动研究并列但互补的研究范式。
• 识别在同行评审、招聘和学术训练中系统性存在的偏见，这些偏见贬低了以应用为导向的机器学习研究。
• 提出在研究评估、招聘和教育方面进行改革，以支持并赋能ADML研究人员。
• 强调现实世界约束和特定领域需求如何能够激发更稳健、更具泛化能力且影响更深远的机器学习方法。
• 倡导跨学科教育与合作，以帮助研究人员为学术界和科技行业之外的多样化机器学习角色做好准备。

提出的方法

• 通过四个关键维度（基准测试、评估指标、数据规模和算法通用性）对比ADML与方法驱动研究。
• 分析案例研究，展示在现实应用中简单模型（如随机森林）在遥感等任务中表现优于复杂深度学习模型。
• 提出研究评估应从标准化基准转向上下文感知、应用特定的指标与验证方式。
• 建议在学术招聘中，除理论创新外，也应重视领域专业知识和真实世界部署经验。
• 倡导课程改革，整合特定领域的机器学习课程，并让学生接触从问题定义到部署的完整项目生命周期。
• 鼓励跨学科合作与培训，弥合机器学习研究人员与医疗、气候科学及工业等领域的领域专家之间的差距。

实验结果

研究问题

• RQ1 以应用为导向的创新与方法驱动研究在机器学习中有哪些不同？其关键区分特征是什么？
• RQ2 尽管以应用为导向的机器学习具有现实世界影响，为何在同行评审、招聘和学术训练中常被低估？
• RQ3 为实现对应用驱动研究的公平评估、支持与整合，需要哪些系统性改革？
• RQ4 教育体系如何更好地为机器学习学生做好准备，以胜任公共部门和特定领域应用中的非学术与非科技行业角色？
• RQ5 以应用为导向的研究在哪些方面能够推动方法论进步，从而惠及整个机器学习领域？

主要发现

• 以应用为导向的研究在现实世界环境中往往比方法驱动方法更有效，例如在遥感领域，随机森林的表现优于视觉变换器（Vision Transformers）。
• ImageNet和MS COCO等标准化基准被过度使用，导致研究过度聚焦于性能指标，而这些指标可能无法反映真实世界中的实用性。
• 当前的评估实践优先考虑测试损失和准确率，而非应用特定指标，导致研究产出与社会影响之间出现错位。
• 机器学习领域的评审、招聘和教学实践常常贬低以应用为导向的工作，使研究人员不愿投身于具有影响力的领域特定问题。
• ADML子社区（如'AI for Good'）在性别和种族多样性方面表现更优，表明以应用为导向的工作可能有助于扩大机器学习领域的参与度。
• 通过改革教育，纳入特定领域的机器学习培训和完整的项目生命周期经验，可更好地帮助学生为在公共部门和工业界发挥影响力的角色做好准备。