[論文レビュー] Forecasting AI Progress: Evidence from a Survey of Machine Learning Researchers

Baobao Zhang, Noemi Dreksler+5 more|arXiv (Cornell University)|Jun 8, 2022

Big Data and Business Intelligence被引用数 22

ひとこと要約

本論文は、HLMIを2060年頃と予測するAI/ML研究者への2019年の調査を報告し、2016年のGraceらとの比較、HLMIおよび近未来のマイルストーンの予測が安定していること、社会的影響とフレーミング効果の認識を評価しています。

ABSTRACT

Advances in artificial intelligence (AI) are shaping modern life, from transportation, health care, science, finance, to national defense. Forecasts of AI development could help improve policy- and decision-making. We report the results from a large survey of AI and machine learning (ML) researchers on their beliefs about progress in AI. The survey, fielded in late 2019, elicited forecasts for near-term AI development milestones and high- or human-level machine intelligence, defined as when machines are able to accomplish every or almost every task humans are able to do currently. As part of this study, we re-contacted respondents from a highly-cited study by Grace et al. (2018), in which AI/ML researchers gave forecasts about high-level machine intelligence and near-term milestones in AI development. Results from our 2019 survey show that, in aggregate, AI/ML researchers surveyed placed a 50% likelihood of human-level machine intelligence being achieved by 2060. The results show researchers newly contacted in 2019 expressed similar beliefs about the progress of advanced AI as respondents in the Grace et al. (2018) survey. For the recontacted participants from the Grace et al. (2018) study, the aggregate forecast for a 50% likelihood of high-level machine intelligence shifted from 2062 to 2076, although this change is not statistically significant, likely due to the small size of our panel sample. Forecasts of several near-term AI milestones have reduced in time, suggesting more optimism about AI progress. Finally, AI/ML researchers also exhibited significant optimism about how human-level machine intelligence will impact society.

研究の動機と目的

• AI/ML研究者のICML/NeurIPSでの forecasts を通じたAIの進展の trajectory を評価する。
• 2019年の横断的 Forecast を2016年Graceらの結果および再接触パネルの結果と比較する。
• 長期的な人間レベルの機械知能がもたらす社会的影響に関する研究者の見解を評価する。
• フレーミングと回答者の特性が forecast のタイムラインとどう関連するかを検討する。
• 専門家の先見性を理解することで、ガバナンス、政策、研究の優先順位を情報提供する。

提案手法

• 296名の横断的著者と49名の再接触パネル回答者からガンマ分布のCDF集計法（中央値パラメータ法）で forecast を収集した。
• 回答者ごとに3つの離散的予測から連続的な確率分布（CDF）を構築し、群の中央値のブートストラップ95%信頼区間を推定した。
• Graceらら（2018年）との横断結果を比較し、ローカス回帰を頑健性の検証として用いた。
• 固定年と固定確率のフレーミングの下で、近未来のAIマイルストーン（18～22項目）の分析を行った。
• WassersteinおよびKolmogorov–Smirnov統計を用いたランダム化検定を適用し、調査間で予測分布を比較した。

実験結果

リサーチクエスチョン

• RQ1 AI/ML研究者の間で人間レベルの機械知能（HLMI）が発生する aggregate のタイミングはいつか。
• RQ2 2019年の予測は2016年 Graceらの結果およびGraceらのパネル再接触とどう比較されるか。
• RQ3 AI/ML研究者によるHLMIの長期的な人類への影響の認識はどうか。
• RQ4 近未来のAIマイルストーン予測はより早い日付へシフトするか、そしてこの変化を説明する要因は何か。
• RQ5 フレーミング効果（固定年 vs 固定確率）は専門家の forecast のタイムラインにどう影響するか。

主な発見

• 2019年の横断サンプルはHLMIを2060年時点で50%の確率とするが、2016年 Graceらの結果（2058年）との差は有意ではない。
• Graceらの再接触パネルではHLMIの50%予測が2062年から2076年へと移動したが、サンプルサイズが小さいため統計的には有意ではない。
• 回答者はHLMIの長期的影響に対して純粋に肯定的な見解を示し、中央値は“総じて良い”と“ほぼ中立”の間で推移する。
• 2019年には多くのAIマイルストーンが2016年より早期に達すると予測され、ニューヨーク・タイムズのベストセラー小説の執筆（50%を2034年 vs 2016年の2059年）や LEGO セットの組み立て、Top-40ソングの作曲などのタスクが挙げられている（本文に例示あり）。
• 2016年以降に実際に達成されたマイルストーンが2つある：DeepMindのAgent57がAtariのベンチマークを制した（公表2020年）、Facebook/CMUのPluribusがトップポーカープレイヤーを打ち負かした（公表2019年）。2016年のAtari勝利の予測は遅くとも2033年までに50%とされていたが、2019年予測は2024年までに50%と予測。
• 2016年の予測では3.92個のマイルストーンの解決を想定していたが、2022年1月1日までに2マイルストーンが解決。2019年の予測は1.65個のマイルストーンの解決を想定していたが、2022年1月1日までに1マイルストーンが解決。