[論文レビュー] AI Researchers' Views on Automating AI R&D and Intelligence Explosions

Severin Field, Roy Douglas+1 more|arXiv (Cornell University)|Feb 13, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

論文は frontier AI 研究者25名への半構造化インタビューを通じて ASARA (AI Systems for AI R&D Automation)、リスク、タイムライン、ガバナンス、展開を検討し、自己改善の再帰性の実現可能性とガバナンス課題に対する見解が混在していることを浮き彫りにしている。

ABSTRACT

Many leading AI researchers expect AI development to exceed the transformative impact of all previous technological revolutions. This belief is based on the idea that AI will be able to automate the process of AI research itself, leading to a positive feedback loop. In August and September of 2025, we interviewed 25 leading researchers from frontier AI labs and academia, including participants from Google DeepMind, OpenAI, Anthropic, Meta, UC Berkeley, Princeton, and Stanford to understand researcher perspectives on these scenarios. Though AI systems have not yet been able to recursively improve, 20 of the 25 researchers interviewed identified automating AI research as one of the most severe and urgent AI risks. Participants converged on predictions that AI agents will become more capable at coding, math and eventually AI development, gradually transitioning from `assistants' or `tools' to `autonomous AI developers,' after which point, predictions diverge. While researchers agreed upon the possibility of recursive improvement, they disagreed on basic questions of timelines or appropriate governance mechanisms. For example, an epistemic divide emerged between frontier lab researchers and academic researchers, the latter of which expressed more skepticism about explosive growth scenarios. Additionally, 17/25 participants expected AI systems with advanced coding or R&D capabilities to be increasingly reserved for internal use at AI companies or governments, unseen by the public. Participants were split as to whether setting regulatory ``red lines" was a good idea, though almost all favored transparency-based mitigations.

研究の動機と目的

• 研究者がAIシステムがAI R&Dを自動化するASARAと、それに伴うマイルストーンをどのように想像しているかを理解する。
• ASARA対応モデルの公開展開と内部展開の見解を評価する。
• 自律型AI R&Dへ進展を示す制約、マイルストーン、観察可能な証拠を探る。
• 権力集中、雇用影響、安全性を含むリスク認識とそれを緩和する方法を検討する。
• 赤線や透明性ベースの緩和策といったガバナンス options についての見解を評価する。

提案手法

• frontier AIラボの研究者・学者を対象に2025年8–9月に実施した25件の半構造化インタビュー。
• transcriptsの帰納的コーディングによって参加者間のテーマとパターンを特定。
• カテゴリ変数の分類にはAI支援コーディング（Claude）を用い、人間によるレビューを実施。
• ASARA、知能爆発、展開の概念を参加者主導の用語集（論文のTable 1）で定義。
• 参加者は匿名化され、引用は公表前にインタビュー被験者によって確認。

Figure 1: Participant predictions on whether AI companies will publicly deploy models capable of meaningfully accelerating AI research, grouped by affiliation type. The figure shows a categorical dot plot with participants grouped into “Expects Internal,” “Nuanced,” and “Expects Public” categories.

実験結果

リサーチクエスチョン

• RQ1 ASARAがプログラミングを補完し、最終的に自律的な研究タスクを実行するAIシステムとしてどのように見えるか。
• RQ2 ASARA能力の展開パターン（内部か公開か）とその理由は何か。
• RQ3 自律型AI R&Dに向けた進展を示す制約、マイルストーン、観測可能な証拠は何か。
• RQ4 権力集中、雇用、ガバナンスなどのリスクとその緩和策に対する研究者の懸念は何か。
• RQ5 ASARAリスクへの対応として、赤線や透明性ベースのガバナンスを研究者はどう評価するか。

主な発見

• 多くの研究者は、コーディング補助から自律的なAI開発者への進展を見込み、知能爆発へつながる可能性を示唆する一方、タイムラインの見解は異なる。
• 25名のうち約20名がAI研究の自動化を最も深刻なAIリスクのひとつと特定している；再帰的改善が起こるかどうか、いつ起こるかについては意見が分かれている。
• 展開について言及した参加者のほぼ半数が内部展開（研究室内のみ）を予想し、公開展開は経済的・規制的圧力により他者によって検討されるとした人もいる。組織と政策文脈次第でニュアンスのある結果を予期する者もいる。
• リスクとして権力集中、機密裏での進展の加速、人間の関連性の喪失の可能性を指摘する研究者が多く、緩和策と赤線に関する意見は特定閾値を支持する派と透明性ベースのアプローチを好む派に分かれた。
• マイルストーンとして長期的なタスク能力（40時間の研究タスク）や自律的研究の観察証拠が議論され、コーディングのブレークスルー、数学/アルゴリズム発見の存在証明、解釈性の懸念などが例示された。

Figure 2: Participant views on the clarity of the trajectory toward ASARA, grouped by affiliation. The figure shows participants distributed along a spectrum from “Clear Path” through “Major Obstacles” to “Unknown/Unknowns.” Frontier lab researchers predominantly cluster toward viewing the path as c