[논문 리뷰] Thousands of AI Authors on the Future of AI

Katja Grace, H. T. L. Stewart외 5명|arXiv (Cornell University)|2024. 01. 05.

Big Data and Business Intelligence인용 수 36

한 줄 요약

2,778명의 AI 연구자를 대상으로 한 대규모 설문은 AI 진보의 이정표와 위험을 예측하며, 2023년이 2022년보다 더 이른 시점을 시사하고 위험과 영향에 대한 견해에 광범위한 차이가 있음을 발견했다.

ABSTRACT

In the largest survey of its kind, 2,778 researchers who had published in top-tier artificial intelligence (AI) venues gave predictions on the pace of AI progress and the nature and impacts of advanced AI systems The aggregate forecasts give at least a 50% chance of AI systems achieving several milestones by 2028, including autonomously constructing a payment processing site from scratch, creating a song indistinguishable from a new song by a popular musician, and autonomously downloading and fine-tuning a large language model. If science continues undisrupted, the chance of unaided machines outperforming humans in every possible task was estimated at 10% by 2027, and 50% by 2047. The latter estimate is 13 years earlier than that reached in a similar survey we conducted only one year earlier [Grace et al., 2022]. However, the chance of all human occupations becoming fully automatable was forecast to reach 10% by 2037, and 50% as late as 2116 (compared to 2164 in the 2022 survey). Most respondents expressed substantial uncertainty about the long-term value of AI progress: While 68.3% thought good outcomes from superhuman AI are more likely than bad, of these net optimists 48% gave at least a 5% chance of extremely bad outcomes such as human extinction, and 59% of net pessimists gave 5% or more to extremely good outcomes. Between 38% and 51% of respondents gave at least a 10% chance to advanced AI leading to outcomes as bad as human extinction. More than half suggested that "substantial" or "extreme" concern is warranted about six different AI-related scenarios, including misinformation, authoritarian control, and inequality. There was disagreement about whether faster or slower AI progress would be better for the future of humanity. However, there was broad agreement that research aimed at minimizing potential risks from AI systems ought to be prioritized more.

연구 동기 및 목표

• AI 연구자들이 다양한 과제, 직업군, 일반적인 인간 수준의 성능에 걸친 AI 진보 속도에 대한 예측을 평가한다.
• HLMI와 FAOL 타임라인에 대한 기대와 그것의 프레이밍 효과를 검토한다.
• AI 연구자들 사이에서 인식되는 위험, 사회적 영향, 그리고 AI 안전 연구의 우선순위를 탐구한다.
• 2023 예측을 2022 및 이전 설문과 비교하여 기대치의 변화와 프레이밍 효과를 식별한다.

제안 방법

• 전년도에 주요 AI 학회에서 발표한 2,778명의 AI 연구자들을 설문조사하였다(NeurIPS, ICML, ICLR, AAAI, IJCAI, JMLR).
• 예측을 얻기 위해 Likert 척도, 확률 추정치, 연도 고정 프레이밍 및 확률 고정 프레이밍을 사용하였다.
• 개별 응답자의 데이터에 감마 분포를 맞춰 이정표와 HLMI/FAOL에 대한 전체 분포를 얻었다.
• 질문 프레이밍 효과를 완화하고 결과의 강건성을 평가하기 위해 프레이밍 제어와 무작위화를 구현하였다.
• 2023 결과를 2022 및 2016 설문과 비교하여 예측된 타임라인과 태도 변화에 맵핑하였다.

Figure 1: Most milestones are predicted to have better than even odds of happening within the next ten years, though with a wide range of plausible dates. The figure shows aggregate distributions over when selected milestones are expected, including 39 tasks, four occupations, and two measures of ge

실험 결과

연구 질문

• RQ1 AI가 39개 과제 및 기타 이정표에 대해(feasibility) 실현 가능해지는 시점은 언제가 될까(특정 연도 내 및 정해진 확률 임계값을 충족하는지 포함)?
• RQ2 HLMI와 FAOL이 얼마나 빨리 실현 가능해질지, 그리고 과제 프레이밍 대 직업 프레이밍이 이러한 예측에 어떤 영향을 미치는가?
• RQ3 AI 연구자들의 위험, 사회적 영향, 그리고 안전 중심 연구 우선순위의 바람직성에 대한 견해는 무엇인가?
• RQ4 2022에서 2023으로의 예측 변화의 원인은 무엇이며, 인구통계학적 요인이 예측에 어떤 영향을 미치는가?
• RQ5 연구자들은 지능 폭주 위험을 인식하는가, 그리고 HLMI 이후의 진전 가능성 향상을 어떻게 평가하는가?

주요 결과

• 대부분의 39개 과제는 향후 10년 이내에 실현 가능할 확률이 50%를 넘으며, 자동으로 결제 사이트를 구축하는 것과 히트 아티스트의 노래와 구분할 수 없는 노래를 생성하는 것도 포함한다.
• HLMI의 50% 이정표가 2060년(2022)에서 2047년(2023)로 이동했고, FAOL의 50% 날짜는 2164년(2022)에서 2116년(2023)로 이동했다.
• 프레이밍 효과: 고정 연도 프레이밍과 고정 확률 프레이밍은 서로 다른 50% 타임라인을 낳으며, 고정 확률 프레이밍이 고정 연도 프레이밍보다 더 이른 이정표를 예측한다.
• 대다수(68.3%)의 응답자는 초인공지능으로부터의 좋은 결과가 나쁜 결과보다 더 가능하다고 보지만, 상당수의 소수 의견은 인류 멸종과 같은 극단적 결과에 대해 결코 무시할 수 없는 확률을 부여한다(일부 응답에서 10% 이상으로 나타남).
• 대다수의 응답자들은 현재 수준보다 더 우선적으로 AI 안전 연구에 대한 지원을 촉구하며, 초기 설문들보다 지지도가 증가하고 있다.
• HLMI는 FAOL보다 약 70년 앞서 도래할 것으로 50% 기준으로 예측되며, 이 차이는 연도와 프레이밍에 걸쳐 지속된다.
• 일부 2043년 특성(예: 행동의 놀라움, 인간과 유사한 토론 능력)은 높은 확률로 예상되지만, 권력을 얻기 위한 행동과 같은 일부 특성에 대해서는 여전히 이견이 있다.
• AI를 통한 허위 정보 확산, 불평등, 자율적 남용에 대한 우려가 크며, 여러 시나리오에서 상당수의 소수 의견이 큰 우려로 평가된다.

Figure 2: Expected feasibility of many AI milestones moved substantially earlier in the course of one year (between 2022 and 2023). The milestones are sorted (within each scale-adjusted chart) by size of drop from 2022 forecast to 2023 forecast, with the largest change first. The year when the aggre