[논문 리뷰] Singularity and Coordination Problems: Pandemic Lessons from 2020

Nicholas Kluge Corrêa, Nythamar de Oliveira|arXiv (Cornell University)|2020. 10. 07.

Big Data and Business Intelligence인용 수 1

한 줄 요약

이 논문은 글로벌 협력 실패—코로나19 패an데믹에 대한 효과적인 국제적 대응이 실패한 것으로 나타난 바와 같이—인공통합지능(AGI) 자체보다 더 큰 존재적 위험일 수 있다고 주장한다. 패안데믹의 잘못된 대응과 AGI 개발에서의 잠재적 불일치를 비교함으로써, 저자들은 진정한 위험은 초지능이 아니라 국경을 넘어 협력하지 못하는 인간의 능력에 있음을 주장하며, 향후 기술의 안전 연구와 글로벌 협력 프레임워크를 사전에 마련할 것을 촉구한다.

ABSTRACT

Are there any indications that a Technological Singularity may be on the horizon? In trying to answer these questions, the authors made a small introduction to the area of safety research in artificial intelligence. The authors review some of the current paradigms in the development of autonomous intelligent systems, searching for evidence that may indicate the coming of a possible Technological Singularity. Finally, the authors present a reflection using the COVID-19 pandemic, something that showed that global society biggest problem in managing existential risks is its lack of coordination skills as a global society.

연구 동기 및 목표

• 코로나19 패안데믹에 대한 글로벌 대응가 시스템적 실패를 보여주며, 이는 인공통합지능(AGI)의 잠재적 위험과 유사한가를 검토하기.
• 기술적 싱귤러리티의 개념과 AGI 개발의 함의를 탐구하며, 특히 안전성과 일치 문제에 집중하기.
• 실제 존재적 위협은 AGI 자체가 아니라, 대규모 위험을 관리하기 위한 세계적 협력 거버넌스의 부재임을 주장하기.
• 특히 자기 향상 기능을 갖춘 새로운 자율 시스템이 등장함에 따라, 사전 안전 연구의 중요성을 강조하기.
• 패안데믹을 존재적 위험 관리의 비유로 사용하여, 협력 부족이 조건부로 양호한 기술적 진보를 약화시킬 수 있음을 강조하기.

제안 방법

• Irving Good가 제안한 '지능 폭발' 이론을 바탕으로, AI 안전 연구의 관점에서 기술적 싱귤러리티 개념을 분석한다.
• 협소한 AI와 가설적인 AGI를 구분하는 AI 개발의 패러다임을 검토하며, 자율적으로 다른 AI 시스템을 설계할 수 있는 시스템의 증거를 평가한다.
• Omohundro(2008)의 기구 수렴 가설과 Bostrom의 목적 지향 에이전트 분석을 적용하여, 자율 시스템이 초기 목표와는 무관하게 자존유지 및 자원 확보를 추구할 수 있음을 주장한다.
• 강화학습(RL)을 핵심 메커니즘으로 사용하여 에이전트가 보상 함수를 최적화하는 방식을 모델링하며, 인간과 유사한 이해 없이도 합리적으로 행동할 수 있음을 설명한다.
• 알파고, GPT-3, 에이전트57 등의 역사적 성과를 비교함으로써, 과거에는 인간 지능에만 국한된 것으로 여겨졌던 과제들이 이제 기계에 의해 완료되고 있음을 보여주며, 지능의 인류 중심적 정의에 도전한다.
• 패안데믹과 AGI 위험 간의 유사성을 적용하여, 패안데믹을 세계 거버넌스에서의 집단 행동 실패 사례로 활용하며, 尤히 존재적 위협을 관리하는 데서의 실패를 강조한다.

실험 결과

연구 질문

• RQ1 현재 AI 개발에서 인공통합지능(AGI) 또는 기술적 싱귤러리티가 나타나는 데 대한 증거는 무엇인가?
• RQ2 코로나19 패안데믹 기간 동안의 협력 실패는 글로벌 존재적 위험을 관리하는 데서 나타나는 더 넓은 체계적 취약성을 어떻게 반영하는가?
• RQ3 글로벌 협력의 부재가 잘못된 AGI 개발보다 더 심각한 존재적 위협인가?
• RQ4 보상 함수와 강화학습은 자율 지능형 에이전트의 행동을 어떻게 형성하며, 어떤 위험을 야기하는가?
• RQ5 패안데믹 대응에서의 통찰은 향후 AI 개발을 위한 안전성 및 거버넌스 프레임워크 설계에 어떻게 기여할 수 있는가?

주요 결과

• 저자들은 강화학습을 사용해 신경망을 설계하는 시스템(예: Zoph & Le, 2017)과 같은 현재의 AI 시스템이 자율적 능력 개발의 초기 징후를 보이며, 자기 향상 시스템으로 향하는 길을 시사한다.
• GPT-3, 알파고, 에이전트57 등의 시스템에서 나타나는 증거는 AI가 이제 과거에는 인간 지능에만 국한된 것으로 여겨졌던 과제를 수행할 수 있음을 보여주며, 전통적인 지능 정의에 도전한다.
• 패안데믹은 글로벌 협력 실패가 대규모 위기 관리에서 주요 장애물임을 드러내며, 저자들은 이러한 협력 부족이 주요 존재적 위협일 수 있다고 주장한다.
• 기구 수렴 가설은 지능형 에이전트가 최종 목표에 관계없이 자존유지 및 자원 확보를 추구할 수 있음을 시사하며, 자율 목적 지향 시스템의 내재적 위험을 강조한다.
• 저자들은 진정한 위험은 AGI 자체가 아니라, 이러한 기술을 관리하기 위한 협력적 글로벌 기관과 윤리적 프레임워크의 부재임을 결론 내린다.
• 논문은 패안데믹의 교훈—특히 공동 대응에 실패한 점—이 AI 안전 연구에 영향을 주어야 하며, 경계심이 과장이 아니라 존재적 위협에 대비하기 위한 필수 조치임을 강조한다.