[논문 리뷰] AI Researchers' Views on Automating AI R&D and Intelligence Explosions

Severin Field, Roy Douglas외 1명|arXiv (Cornell University)|2026. 02. 13.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

논문은 ASARA(AI Systems for AI R&D Automation)에 대해 프런티어 AI 연구원 25명을 대상으로 한 반구조화 인터뷰를 보고하며, 재귀적 자기 개선의 가능성에 대한 혼합된 견해와 거버넌스 도전 및 배포를 다룹니다.

ABSTRACT

Many leading AI researchers expect AI development to exceed the transformative impact of all previous technological revolutions. This belief is based on the idea that AI will be able to automate the process of AI research itself, leading to a positive feedback loop. In August and September of 2025, we interviewed 25 leading researchers from frontier AI labs and academia, including participants from Google DeepMind, OpenAI, Anthropic, Meta, UC Berkeley, Princeton, and Stanford to understand researcher perspectives on these scenarios. Though AI systems have not yet been able to recursively improve, 20 of the 25 researchers interviewed identified automating AI research as one of the most severe and urgent AI risks. Participants converged on predictions that AI agents will become more capable at coding, math and eventually AI development, gradually transitioning from `assistants' or `tools' to `autonomous AI developers,' after which point, predictions diverge. While researchers agreed upon the possibility of recursive improvement, they disagreed on basic questions of timelines or appropriate governance mechanisms. For example, an epistemic divide emerged between frontier lab researchers and academic researchers, the latter of which expressed more skepticism about explosive growth scenarios. Additionally, 17/25 participants expected AI systems with advanced coding or R&D capabilities to be increasingly reserved for internal use at AI companies or governments, unseen by the public. Participants were split as to whether setting regulatory ``red lines" was a good idea, though almost all favored transparency-based mitigations.

연구 동기 및 목표

• AI 시스템이 AI R&D를 자동화하는 ASARA와 그에 포함될 주요 이정표를 연구원들이 어떻게 상상하는지 이해한다.
• ASARA 기능의 내부 배포 대 공개 배포에 대한 관점과 그 이유를 평가한다.
• 자율 AI R&D로의 진전이나 정체를 시사하는 제약, 이정표, 관찰 가능한 증거를 탐색한다.
• 권력 집중, 고용 영향, 안전 고려와 같은 위험 인식 및 완화책을 포함한 위험 인식을 평가한다.
• 레드라인과 투명성 기반 완화책과 같은 거버넌스 옵션에 대한 의견을 평가한다.

제안 방법

• 2025년 8–9월에 프런티어 AI 연구실 연구자 및 학자 25명을 대상으로 반구조화 인터뷰를 실시했다.
• 참여자별 주제와 패턴을 도출하기 위해 전사를 귀납적 코딩했다.
• 범주형 변수 분류를 위해 AI 보조 코딩(Claude)을 활용하고 인간 검토를 실시했다.
• ASARA, 지능 폭주, 배포 개념을 참가자 주도 보기로 정의된 용어집(Table 1)을 통해 정의했다.
• 참가자는 익명화되었고 발췌문은 게시 전에 인터뷰 대상자가 검토했다.

Figure 1: Participant predictions on whether AI companies will publicly deploy models capable of meaningfully accelerating AI research, grouped by affiliation type. The figure shows a categorical dot plot with participants grouped into “Expects Internal,” “Nuanced,” and “Expects Public” categories.

실험 결과

연구 질문

• RQ1 ASARA가 프로그래밍을 보강하고 결국 자율 연구 task를 수행하는 AI 시스템으로 어떤 모습일지 예측할 수 있는가?
• RQ2 ASARA 능력의 내부 대 공개 배포 패턴은 무엇이며 그 이유는 무엇인가?
• RQ3 자율 AI R&D로의 진전 또는 이탈을 나타내는 제약, 이정표, 관찰 가능한 증거는 무엇인가?
• RQ4 권력 집중, 고용, 거버넌스 등의 위험과 가능한 완화책에 대해 연구자들은 어떤 우려를 제시하는가?
• RQ5 ASARA 위험에 대한 대응으로서 레드라인과 투명성 기반 거버넌스를 연구자들은 어떻게 바라보는가?

주요 결과

• 대부분의 연구원은 코딩 보조에서 자율 AI 개발자로의 진행을 예측하며, 이는 지능 폭주로 이어질 수 있지만 기간에 대한 견해는 다양하다.
• 약 25명의 연구원 중 약 20명은 AI 연구를 자동화하는 것을 가장 심각한 AI 위험 중 하나로 식별했으며, 재귀적 개선이 발생할지 여부와 시기에 대해 차이가 있다.
• 배포를 다룬 참가자의 절반 가량은 내부(연구실 전용) 배포를 예상했고, 일부는 경제적·규제적 압력으로 인해 공개 배포를 고려했다; 조직과 정책 맥락에 따라 미묘한 결과를 기대하는 집단도 있다.
• 연구자들은 권력 집중, 비밀리에 가속되는 진행, 인간의 관련성에 대한 잠재적 위협 같은 위험을 지적했으며, 완화책과 레드라인에 대한 의견은 특정 임계값을 선호하는 쪽과 투명성 기반 접근을 선호하는 쪽으로 나뉘었다.
• 이정표로는 장기 과제 능력(40시간의 연구 작업) 및 자율 연구의 관찰 가능 증거(코딩 돌파구, 수학/알고리즘 발견의 존재 증명, 해석 가능성 이슈) 등이 논의되었다.

Figure 2: Participant views on the clarity of the trajectory toward ASARA, grouped by affiliation. The figure shows participants distributed along a spectrum from “Clear Path” through “Major Obstacles” to “Unknown/Unknowns.” Frontier lab researchers predominantly cluster toward viewing the path as c