[논문 리뷰] Artificial Intelligence Safety and Cybersecurity: a Timeline of AI Failures

Roman V. Yampolskiy, M. S. Spellchecker|arXiv (Cornell University)|2016. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 78

한 줄 요약

이 논문은 인공지능 시스템에서 기록된 실패 사례의 역사를 정리하여, 일반적이고 초지능적인 형태로 진화하는 AI가 진행될수록 실패 위험이 빈도와 심각도 면에서 증가할 것이라고 주장한다. 사이버보안과의 유사성을 들어, 강력한 안전 메커니즘의 필요성을 강조하며, 현재의 좁은 범위의 AI 실패는 관리 가능하지만, 초지능적 시스템의 안전 프로토콜이 실패할 경우 복구 불가능하고 참혹한 실패가 발생할 수 있음을 설명한다.

ABSTRACT

In this work, we present and analyze reported failures of artificially intelligent systems and extrapolate our analysis to future AIs. We suggest that both the frequency and the seriousness of future AI failures will steadily increase. AI Safety can be improved based on ideas developed by cybersecurity experts. For narrow AIs safety failures are at the same, moderate, level of criticality as in cybersecurity, however for general AI, failures have a fundamentally different impact. A single failure of a superintelligent system may cause a catastrophic event without a chance for recovery. The goal of cybersecurity is to reduce the number of successful attacks on the system; the goal of AI Safety is to make sure zero attacks succeed in bypassing the safety mechanisms. Unfortunately, such a level of performance is unachievable. Every security system will eventually fail; there is no such thing as a 100% secure system.

연구 동기 및 목표

• 기록된 AI 시스템 실패 사례를 분석하여 원인과 영향의 패턴을 규명한다.
• AI 안전성과 사이버보안 간의 유사성을 도출하여 향상된 안전 프레임워크를 제안한다.
• 일반적이고 초지능적 수준으로 진화하는 AI 시스템에 따라 치명적 실패 위험이 증가함을 강조한다.
• AI 안전 메커니즘에 대한 성공적인 공격를 완전히 제거하는 것은 불가능하며, 이에 따라 사전적이고 내성적인 설계가 필수적임을 주장한다.
• 사이버보안 분야의 최선의 실천 방식을 AI 안전 공학에 통합하여 향후 위험을 완화할 것을 주장한다.

제안 방법

• 다양한 분야와 시기의 기록된 AI 실패 사례를 수집하고 분석한다.
• 실패 유형, 심각도, 시스템 유형(좁은 범위 AI 대비 일반적 AI)에 따라 실패를 분류한다.
• 방어의 깊이와 위협 모델링 등의 사이버보안 원칙을 AI 안전성 맥락에 적응시킨다.
• 실패 추세를 바탕으로 향후 일반적이고 초지능적 AI 시스템의 위험 증가를 예측한다.
• 사이버보안 공격 표면과 AI 안전성 취약점 간의 유사성 추론을 활용한다.
• 완벽한 보안을 확보하는 것은 불가능하며, 완벽함보다 내성적 설계의 중요성을 강조한다.

실험 결과

연구 질문

• RQ1 기록된 역사적 사례에서 AI 시스템 실패의 가장 흔한 원인과 패턴은 무엇인가?
• RQ2 좁은 범위의 AI 실패와 일반적 또는 초지능적 AI 시스템의 실패 동역학은 어떻게 비교할 수 있는가?
• RQ3 사이버보안 전략이 AI 안전성 향상에 효과적으로 적용될 수 있는 정도는 어느 정도인가?
• RQ4 왜 AI 시스템에서 안전 메커니즘을 성공적으로 우회하는 것을 완전히 방지하는 것은 본질적으로 불가능한가? 그 결과는 무엇인가?
• RQ5 향후 AI 실패로 인한 참혹한 결과를 방지하기 위해 어떤 체계적 변화가 필요한가?

주요 결과

• AI 안전성 실패는 시스템이 점점 더 복잡하고 자율적이게 될수록 발생 가능성 증가하며, 특히 일반적이고 초지능적 AI에서 더욱 그렇다.
• 현재의 좁은 범위 AI 실패는 사이버보안 사고와 유사한 중간 정도의 심각도 수준을 보이지만, 향후 실패는 복구 불가능하고 참혹한 결과를 낳을 수 있다.
• 모든 보안 시스템은 100% 안전하지 않으며, AI의 모든 안전 메커니즘 역시 결국 우회될 것이므로 내성적 설계가 완벽함보다 더 중요하다.
• AI 안전성의 목표는 안전 메커니즘에 대한 성공적 공격를 완전히 제거하는 것이 아니라, 그 가능성을 최소화하는 데 있다.
• 사이버보안 전문 지식은 더 견고하고 적응력 있는 AI 안전 아키텍처 설계에 유용한 프레임워크를 제공한다.
• 초지능적 시스템에서 한 번의 실패만으로도 복구 불가능한 세계적 참혹 사고가 발생할 수 있으며, 이는 사전적 안전 조치의 긴급성을 강조한다.