[论文解读] Measurement in AI Policy: Opportunities and Challenges

Saurabh Mishra, Jack Clark+1 more|arXiv (Cornell University)|Sep 10, 2020

Ethics and Social Impacts of AI参考文献 33被引用 42

一句话总结

这篇论文基于2019年斯坦福研讨会，综述了AI政策中的测量问题与机会，并确定了六个核心挑战以指导未来研究。

ABSTRACT

As artificial intelligence increasingly influences our world, it becomes crucial to assess its technical progress and societal impact. This paper surveys problems and opportunities in the measurement of AI systems and their impact, based on a workshop held at Stanford University in the fall of 2019. We identify six summary challenges inherent to measuring the progress and impact of AI, and summarize over 40 presentations and associated discussions from the workshop. We hope this can inspire research agendas in this crucial area.

研究动机与目标

• 澄清在技术、经济和社会维度上如何衡量AI进展与影响。
• 识别阻碍健全AI测量的定义与方法论瓶颈。
• 提出改进数据源、指标和评估实践以用于政策应用的方向。
• 强调测量如何为AI治理、投资和伦理考量提供信息。
• 鼓励跨学科协作以开发可标准化的测量框架。

提出的方法

• 汇总来自40+场研讨会演讲和分组讨论的见解。
• 将发现围绕六项核心测量挑战组织。
• 概括全体会议演讲和小组讨论以提取共性主题。
• 讨论每个领域的实际测量问题及潜在研究方向。

实验结果

研究问题

• RQ1 AI 的定义是什么，跨领域的测量应如何定义？
• RQ2 我们如何在超越单一指标评估的基础上有意义地衡量AI进展？
• RQ3 哪些数据与文献计量方法最能捕捉AI影响和发展轨迹？
• RQ4 如何量化AI对经济和社会的影响，包括劳动力市场和不平等？
• RQ5 评估AI的风险、治理和人权影响需要哪些指标？

主要发现

• 由于定义上的模糊性以及依赖数据集特定基准，AI进展难以衡量。
• 基准测试的过拟合和偏差可能会歪曲现实世界的AI能力和安全问题。
• 需要多样化的指标和对抗性评估来捕捉超越单一分数的鲁棒进展。
• 文献计量数据可以揭示贡献、协作和扩散，但需要对作者身份和地理分布小心处理。
• 经济和社会测量必须考虑无形投入（技能、数据、实践）以及基于服务的产出。
• 风险、治理和人权考量需要结构化数据和透明的方法论以提供与政策相关的洞见。