[论文解读] Forecasting AI Progress: Evidence from a Survey of Machine Learning Researchers

Baobao Zhang, Noemi Dreksler+5 more|arXiv (Cornell University)|Jun 8, 2022

Big Data and Business Intelligence被引用 22

一句话总结

本文报告了对 AI/ML 研究人员在 2019 年的 HLMI（人类水平机器智能）预测，预测大约在 2060 年，与 2016 年 Grace 等人进行比较，发现对 HLMI 的预测稳定性以及对早期近端里程碑的预测稳定性，并评估感知的社会影响和框架效应。

ABSTRACT

Advances in artificial intelligence (AI) are shaping modern life, from transportation, health care, science, finance, to national defense. Forecasts of AI development could help improve policy- and decision-making. We report the results from a large survey of AI and machine learning (ML) researchers on their beliefs about progress in AI. The survey, fielded in late 2019, elicited forecasts for near-term AI development milestones and high- or human-level machine intelligence, defined as when machines are able to accomplish every or almost every task humans are able to do currently. As part of this study, we re-contacted respondents from a highly-cited study by Grace et al. (2018), in which AI/ML researchers gave forecasts about high-level machine intelligence and near-term milestones in AI development. Results from our 2019 survey show that, in aggregate, AI/ML researchers surveyed placed a 50% likelihood of human-level machine intelligence being achieved by 2060. The results show researchers newly contacted in 2019 expressed similar beliefs about the progress of advanced AI as respondents in the Grace et al. (2018) survey. For the recontacted participants from the Grace et al. (2018) study, the aggregate forecast for a 50% likelihood of high-level machine intelligence shifted from 2062 to 2076, although this change is not statistically significant, likely due to the small size of our panel sample. Forecasts of several near-term AI milestones have reduced in time, suggesting more optimism about AI progress. Finally, AI/ML researchers also exhibited significant optimism about how human-level machine intelligence will impact society.

研究动机与目标

• 通过来自 ICML/NeurIPS 的 AI/ML 研究人员的预测来评估 AI 进展的轨迹。
• 将 2019 年横截面预测与 2016 年 Grace et al. 的结果以及重新联系的 panel 回应进行比较。
• 评估研究人员对人类水平机器智能长远社会影响的看法。
• 考察框架设定和受访者特征如何与预测时间线相关。
• 通过理解专家前瞻性来为治理、政策和研究优先级提供信息。

提出的方法

• 使用 gamma 分布的 CDF 聚合（中位数参数法）从 296 名横截面作者和 49 名重新联系的 panel 受访者中 elicited 预测。
• 基于每位受访者的三个离散预测构建一个连续的概率分布（CDF），并对群体中位数的 95% 置信区间进行自放缩（自助法 Bootstrap）。
• 将横截面结果与 Grace et al. (2018) 进行比较，并使用 LOESS 作为稳健性检验。
• 在固定年份和固定概率框架下，分析近端 AI 里程碑（十八至二十二个任务）
• 应用 Wasserstein 和 Kolmogorov–Smirnov 统计量的随机化检验来比较不同调查中的预测分布。

实验结果

研究问题

• RQ1 在人类水平机器智能（HLMI）在 AI/ML 研究人员群体中大规模发生的时间大致是什么？
• RQ2 2019 年的预测与 2016 年 Grace et al. 的结果及 Grace et al. 面板的重新联系结果有何比较？
• RQ3 根据 AI/ML 研究人员，HLMI 对人类的长期影响被如何感知？
• RQ4 近端 AI 里程碑的预测是否向更早的日期移动？以及哪些因素解释这些变化？
• RQ5 框架效应（固定年份 vs 固定概率）如何影响专家的预测时间线？

主要发现

• 2019 年横截面样本给出 HLMI 在 2060 年前后达到 50% 的概率，与 2016 年 Grace et al. 的结果（2058）没有显著差异。
• 对于重新联系的 Grace et al. 面板，HLMI 的 50% 预测从 2062 年上移至 2076 年，但由于样本量小，变化在统计学上未显著。
• 受访者对 HLMI 的长期影响整体持正面态度，中位展望介于“总体上是好的”和“或多或少中性”之间。
• 在 2019 年，许多 AI 里程碑预计比 2016 年更早实现，包括写出《纽约时报》畅销小说（50% by 2034 vs 2059 in 2016）以及拼装乐高积木或创作 Top-40 歌曲等其他任务（文本中有示例）。
• 自 2016 年以来，已经有两个里程碑实现：DeepMind 的 Agent57 超越 Atari 基准（公开宣布于 2020 年）以及 Facebook/CMU 的 Pluribus 击败顶级扑克玩家（公开宣布于 2019 年）；2016 年对在 Atari 上取胜的预测为 50% 在 2033 年晚些时候，而 2019 的预测为 50% 在 2024 年。
• 2016 年的预测预计要解决 3.92 个里程碑，而截至 2022-01-01 已解决 2 个；2019 年的预测预计要解决 1.65 个里程碑，而截至 2022-01-01 已解决 1 个里程碑。