[论文解读] Accounting for the Neglected Dimensions of AI Progress.

Fernando Martínez‐Plumed, Shahar Avin+4 more|arXiv (Cornell University)|Jun 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 25被引用 26

一句话总结

本文通过引入一个涵盖隐藏成本（如数据、专业知识、计算资源和开发时间）的多维框架，重新定义了人工智能发展的衡量标准，将性能指标与这些成本因素并列考量。该框架提出将这些维度压缩为一个效用指标，或通过帕累托效率来评估进展，从而通过 Alpha* 和 ALE 的案例研究，为人工智能进步提供更全面的基准。

ABSTRACT

We analyze and reframe AI progress. In addition to the prevailing metrics of performance, we highlight the usually neglected costs paid in the development and deployment of a system, including: data, expert knowledge, human oversight, software resources, computing cycles, hardware and network facilities, development time, etc. These costs are paid throughout the life cycle of an AI system, fall differentially on different individuals, and vary in magnitude depending on the replicability and generality of the AI solution. The multidimensional performance and cost space can be collapsed to a single utility metric for a user with transitive and complete preferences. Even absent a single utility function, AI advances can be generically assessed by whether they expand the Pareto (optimal) surface. We explore a subset of these neglected dimensions using the two case studies of Alpha* and ALE. This broadened conception of progress in AI should lead to novel ways of measuring success in AI, and can help set milestones for future progress.

研究动机与目标

• 识别并量化人工智能系统开发与部署中常被忽视的成本。
• 主张人工智能的进步不应仅以性能衡量，而应涵盖资源与人力成本的全谱。
• 提出一个统一的效用指标，以捕捉用户在偏好一致情况下的性能与成本维度。
• 通过帕累托效率的视角评估人工智能进步，即改进是否扩展了性能与成本之间最优权衡的集合。
• 通过真实案例研究（Alpha* 和 ALE）展示该框架的适用性。

提出的方法

• 本文提出一个多维空间，用于映射人工智能系统生命周期中性能与各类成本因素的关系。
• 将用户偏好建模为具有传递性与完备性，从而实现将性能与成本维度压缩为单一效用函数。
• 应用帕累托效率的概念，评估人工智能进展是否扩展了性能与成本之间最优权衡的集合。
• 通过两个案例研究（Alpha* 和 ALE）实证说明该框架的应用与有效性。
• 分析成本在个体间分布不均的现象，并探讨其与人工智能解决方案的可复制性与通用性之间的关系。
• 形式化提出：进步不仅关乎性能提升，也关乎隐藏成本的减少或重新分配。

实验结果

研究问题

• RQ1 如何在标准性能指标之外，对人工智能进步进行有意义的评估？
• RQ2 人工智能开发与部署中的主要隐藏成本是什么？它们在不同系统间如何变化？
• RQ3 当前的人工智力进展在多大程度上扩展了性能与成本权衡的帕累托最优前沿？
• RQ4 如何从多个性能与成本维度推导出统一的效用指标？
• RQ5 Alpha* 和 ALE 的案例研究在哪些方面体现了该框架的实际相关性？

主要发现

• 本文识别出人工智能开发中被广泛忽视的一系列成本，包括数据收集、专家人力、计算资源使用以及基础设施投入，这些成本在标准进展指标中常被忽略。
• 这些成本在个人与组织间分布不均，导致获取能力与技术能力的差距。
• 在用户偏好具有传递性与完备性的前提下，该框架可实现将性能与成本维度压缩为单一效用指标。
• 人工智能进展可普遍通过其是否扩展帕累托表面来评估，表明其在性能与成本之间实现了更优的权衡。
• Alpha* 与 ALE 的案例研究表明，即使高性能系统也伴随着显著的隐藏成本，影响其可扩展性与可复制性。
• 所提出的框架揭示，人工智能的进步不仅关乎性能提升，也关乎减少系统性资源利用的低效与不公。