[論文レビュー] Thousands of AI Authors on the Future of AI

Katja Grace, H. T. L. Stewart+5 more|arXiv (Cornell University)|Jan 5, 2024

Big Data and Business Intelligence被引用数 36

ひとこと要約

2,778人のAI研究者を対象とする大規模調査は、AIの進展のマイルストーンとリスクを予測し、2023年の方が2022年よりも早い時期を示し、リスクと影響に対する見解には大きなばらつきがあることを明らかにした。

ABSTRACT

In the largest survey of its kind, 2,778 researchers who had published in top-tier artificial intelligence (AI) venues gave predictions on the pace of AI progress and the nature and impacts of advanced AI systems The aggregate forecasts give at least a 50% chance of AI systems achieving several milestones by 2028, including autonomously constructing a payment processing site from scratch, creating a song indistinguishable from a new song by a popular musician, and autonomously downloading and fine-tuning a large language model. If science continues undisrupted, the chance of unaided machines outperforming humans in every possible task was estimated at 10% by 2027, and 50% by 2047. The latter estimate is 13 years earlier than that reached in a similar survey we conducted only one year earlier [Grace et al., 2022]. However, the chance of all human occupations becoming fully automatable was forecast to reach 10% by 2037, and 50% as late as 2116 (compared to 2164 in the 2022 survey). Most respondents expressed substantial uncertainty about the long-term value of AI progress: While 68.3% thought good outcomes from superhuman AI are more likely than bad, of these net optimists 48% gave at least a 5% chance of extremely bad outcomes such as human extinction, and 59% of net pessimists gave 5% or more to extremely good outcomes. Between 38% and 51% of respondents gave at least a 10% chance to advanced AI leading to outcomes as bad as human extinction. More than half suggested that "substantial" or "extreme" concern is warranted about six different AI-related scenarios, including misinformation, authoritarian control, and inequality. There was disagreement about whether faster or slower AI progress would be better for the future of humanity. However, there was broad agreement that research aimed at minimizing potential risks from AI systems ought to be prioritized more.

研究の動機と目的

• AI研究者の、人間の一般的なレベルの性能を含む、タスク・職業別および全体的な進展ペースに関する予測を評価する。
• HLMIとFAOLのタイムラインの期待と、それらのフレーミング効果を検討する。
• AI研究者の間で認識されるリスク、社会的影響、およびAI安全性研究の優先事項を探る。
• 2023年の予測を2022年および以前の調査と比較し、期待とフレーミング効果の変化を特定する。

提案手法

• 前年に主要なAI会場（NeurIPS, ICML, ICLR, AAAI, IJCAI, JMLR）で発表したAI研究者2,778名を調査した。
• 固定年・固定確率のフレーミングを用いたリッカート尺度、確率推定、年ベースの回答で予測を引き出した。
• 個々の回答データにガンマ分布を適合させ、マイルストーンおよびHLMI/FAOLの集約分布を得た。
• 質問のフレーミング効果を緩和し、結果の頑健性を評価するためのフレーミング制御とランダム化を実装した。
• 2023年の結果を2022年および2016年の調査と比較して、予測されたタイムラインと態度の変化を把握した。

Figure 1: Most milestones are predicted to have better than even odds of happening within the next ten years, though with a wide range of plausible dates. The figure shows aggregate distributions over when selected milestones are expected, including 39 tasks, four occupations, and two measures of ge

実験結果

リサーチクエスチョン

• RQ1 AIが39のタスク群と他のマイルストーンの実現可能性を達成するのはいつか（1年以内・指定された確率閾値内）？
• RQ2 HLMIとFAOLが実現可能になるのはどれくらい早く、タスクと職業のフレーミングは予測にどう影響するか？
• RQ3 リスク、社会的影響、および安全性重視の研究優先事項の望ましさについて、AI研究者の見解はどうか？
• RQ4 2022年から2023年への予測の変化を何が説明し、人口統計学的要因は予測にどう影響するか？
• RQ5 研究者は知能爆発のリスクを認識しているか、HLMI後の進展の潜在的な向上をどう評価するか？

主な発見

• 39のタスクのほとんどが、今後10年以内に実現可能となる確率が50％を超えており、支払いサイトを自動構築することやヒット曲と区別できない歌を生成することを含む。
• HLMIの50%マイルストーン日が2060年（2022）から2047年（2023）へ、FAOLの50%日が2164年（2022）から2116年（2023）へ移動。
• フレーミング効果：固定年フレーミングと固定確率フレーミングは異なる50%のタイムラインを生み出し、固定確率フレーミングは固定年フレーミングより早いマイルストーンを予測する。
• 過半数（68.3%）は超人間AIからの良い結果が悪い結果より起こりやすいとみなす一方で、かなりの少数が人類滅亡などの極端な結果に対して無視できない確率を割り当てている（いくつかの回答では10％以上）。
• 回答者の半数を超える人が、AI安全性研究の優先度を現在より高くすることを支持しており、初期の調査より支持が高まっている。
• HLMIはFAOLより約70年早く到来すると50%ベースで予測されており、この差は年やフレーミングに関係なく持続する。
• 回答者は2043年のAIにおける特定の特徴（例：挙動の驚き、人間のような討議能力）を高い確率で予見する一方、権力獲得のための行動を含むいくつかの特徴については意見が分かれている。
• AIを利用した誤情報、格差、権威主義的な悪用について substantial な懸念があり、いくつかのシナリオは相当数の少数派によって重大または極端な懸念が妥当と評価されている。

Figure 2: Expected feasibility of many AI milestones moved substantially earlier in the course of one year (between 2022 and 2023). The milestones are sorted (within each scale-adjusted chart) by size of drop from 2022 forecast to 2023 forecast, with the largest change first. The year when the aggre