[논문 리뷰] Forecasting AI Progress: Evidence from a Survey of Machine Learning Researchers

Baobao Zhang, Noemi Dreksler외 5명|arXiv (Cornell University)|2022. 06. 08.

Big Data and Business Intelligence인용 수 22

한 줄 요약

본 논문은 2019년 AI/ML 연구자들을 대상으로 한 HLMI(인간 수준의 기계지능) 연도를 약 2060년으로 예측한 설문조사를 보고하고, 2016 Grace 등과 비교하며, HLMI 및 근접한 단기 이정표의 예측이 안정적임을 발견하고, 인지된 사회적 영향 및 프레이밍 효과를 평가한다.

ABSTRACT

Advances in artificial intelligence (AI) are shaping modern life, from transportation, health care, science, finance, to national defense. Forecasts of AI development could help improve policy- and decision-making. We report the results from a large survey of AI and machine learning (ML) researchers on their beliefs about progress in AI. The survey, fielded in late 2019, elicited forecasts for near-term AI development milestones and high- or human-level machine intelligence, defined as when machines are able to accomplish every or almost every task humans are able to do currently. As part of this study, we re-contacted respondents from a highly-cited study by Grace et al. (2018), in which AI/ML researchers gave forecasts about high-level machine intelligence and near-term milestones in AI development. Results from our 2019 survey show that, in aggregate, AI/ML researchers surveyed placed a 50% likelihood of human-level machine intelligence being achieved by 2060. The results show researchers newly contacted in 2019 expressed similar beliefs about the progress of advanced AI as respondents in the Grace et al. (2018) survey. For the recontacted participants from the Grace et al. (2018) study, the aggregate forecast for a 50% likelihood of high-level machine intelligence shifted from 2062 to 2076, although this change is not statistically significant, likely due to the small size of our panel sample. Forecasts of several near-term AI milestones have reduced in time, suggesting more optimism about AI progress. Finally, AI/ML researchers also exhibited significant optimism about how human-level machine intelligence will impact society.

연구 동기 및 목표

• AI/ML 연구자들의 예측을 통해 ICML/NeurIPS에서 AI 진보의 경로를 평가한다.
• 2019년 횡단면 예측을 2016 Grace 등 결과 및 재접촉 패널 응답과 비교한다.
• 연구자들이 인간 수준의 기계지능의 장기적 사회적 영향에 대해 보는 견해를 평가한다.
• 프레이밍과 응답자 특성이 예측 시점에 어떻게 연관되는지 분석한다.
• 전문가의 선견지식을 이해하여 거버넌스, 정책, 연구 우선순위를 inform 한다.

제안 방법

• 296명의 횡단면 저자와 49명의 재접촉 패널 응답자로부터 감마 분포 CDF 집계를 이용해 예측을 이끌어내었다(중앙값 매개변수 방법).
• 응답자당 세 개의 이산 예측값으로부터 연속 확률 분포(CDF)를 구성하고 그룹 중앙값의 부트스트랩 95% CI를 산출했다.
• Grace 등(2018)의 결과와 횡단면 결과를 비교하고 LOESS를 로버스트니스 체크로 사용했다.
• 고정 연도 및 고정 확률 프레이밍 하에서 근접 이른 시기의 AI 이정표(18~22개 작업)를 분석했다.
• Wasserstein 및 Kolmogorov–Smirnov 통계량을 사용한 무작위화 검정을 통해 설문 간 예측 분포를 비교했다.

실험 결과

연구 질문

• RQ1 AI/ML 연구자들 사이에서 인간 수준의 기계지능(HLMI)이 언제 발생하는지에 대한 총합적 시점은 무엇인가?
• RQ2 2019년 예측은 2016 Grace 등 결과 및 Grace 등 재접촉 패널과 어떻게 비교되는가?
• RQ3 AI/ML 연구자들에 따르면 HLMI가 인간에 대한 장기적 영향은 무엇인가?
• RQ4 근접 시점 이정표 예측이 더 이른 시점으로 이동하는가, 이 변동을 설명하는 요인은 무엇인가?
• RQ5 프레이밍 효과(고정 연도 대 고정 확률)가 전문가의 예측 시점에 어떤 영향을 주는가?

주요 결과

• 2019년 횡단면 샘플에서 HLMI의 50% 확률은 2060년으로 나왔으며, 2016 Grace 등 결과(2058년)와 유의한 차이가 없다.
• Grace 등 패널의 재접촉의 경우 HLMI 50% 예측이 2062년에서 2076년으로 이동하나, 표본 크기가 작아 통계적으로 유의하지 않다.
• 응답자들은 HLMI의 장기적 영향에 대해 순전 긍정적 시각을 보이며 중앙값 전망은 "대체로 좋다"와 "다소 중립적" 사이에 걸쳐 있다.
• 2019년에는 뉴욕타임스 베스트셀러 소설 집필(2034년 50% 달성 vs 2016년 2059년) 등 다른 작업을 포함해 2016년보다 근접 이정표가 더 앞당겨지는 예측이 많다.
• 2016년 이후 실제로 성취된 두 가지 이정표가 있다: DeepMind의 Agent57이 아타리 벤치마크를 이겼고(공개 발표 2020년), Facebook/CMU의 Pluribus가 최정상의 포커 플레이어를 이겼다(공개 발표 2019년); Atari에서의 50% 달성 예측은 2033년 말이었으나 2019 예측은 2024년 50%를 제시했다.
• 2016년 예측은 해결될 이정표가 3.92개로 예상되었으나 2022년 1월 1일 기준으로 2개가 해결되었고, 2019 예측은 1.65개가 해결될 것으로 예상되었으나 2022년 1월 1일 기준으로 1개가 해결되었다.