[논문 리뷰] International AI Safety Report 2025: First Key Update: Capabilities and Risk Implications

Yoshua Bengio, Stephen Clare외 71명|ArXiv.org|2025. 10. 15.

Ethics and Social Impacts of AI인용 수 3

한 줄 요약

이 논문은 첫 보고서 이후 AI 능력이 어떻게 진보했는지 분석하고, 추론 및 추론‑시간(inference-time) 기술에 초점을 맞추며, 관련 위험과 모니터링 과제를 평가한다. 생물학적 무기, 사이버 공격, 그리고 통제 가능성에 대한 시사점을 강조한다.

ABSTRACT

Since the publication of the first International AI Safety Report, AI capabilities have continued to improve across key domains. New training techniques that teach AI systems to reason step-by-step and inference-time enhancements have primarily driven these advances, rather than simply training larger models. As a result, general-purpose AI systems can solve more complex problems in a range of domains, from scientific research to software development. Their performance on benchmarks that measure performance in coding, mathematics, and answering expert-level science questions has continued to improve, though reliability challenges persist, with systems excelling on some tasks while failing completely on others. These capability improvements also have implications for multiple risks, including risks from biological weapons and cyber attacks. Finally, they pose new challenges for monitoring and controllability. This update examines how AI capabilities have improved since the first Report, then focuses on key risk areas where substantial new evidence warrants updated assessments.

연구 동기 및 목표

• 첫 International AI Safety Report 이후 AI 능력이 얼마나 개선되었는지 평가한다.
• 갱신된 증거로 인해 수정된 평가가 필요한 핵심 위험 영역을 식별한다.
• 모니터링, 제어 가능성, 보안 위협(생물학적/사이버)에 대한 시사점을 검토한다.

제안 방법

• 단계별 추론 및 추론‑시간 강화의 최근 발전에 대한 설문조사.
• 코딩, 수학, 전문가 수준의 과학 질문에 대한 벤치마크에서의 성능 향상 평가.
• 다양한 도메인에서의 신뢰성 문제와 작업 변동성에 대한 논의.

실험 결과

연구 질문

• RQ1 첫 보고서 이후 범용 AI 시스템의 최신 능력 추세는 무엇인가?
• RQ2 이 능력 향상으로 인해 새롭게 또는 업데이트된 위험은 무엇인가?
• RQ3 이러한 발전을 고려할 때 모니터링 및 제어 가능성 문제는 어떻게 변화하는가?
• RQ4 생물학적 무기 및 사이버 공격과 같은 위협에 대한 시사점은 무엇인가?

주요 결과

• AI 능력은 더 큰 모델을 넘어 다양한 도메인에서 계속 향상되고 있다.
• 코딩, 수학, 전문 과학 벤치마크에서의 시스템 성능이 향상되었다.
• 다양한 작업 간의 성공률 편차로 인해 신뢰성은 여전히 도전 과제로 남아 있다.
• 능력 향상은 생물학적 및 사이버 위험 시나리오와 모니터링/통제에 대한 시사점을 갖는다.
• 여러 핵심 영역에서 업데이트된 위험 평가가 필요한 새로운 증거가 나타났다.