[논문 리뷰] "Collective Intelligence as Infrastructure for Reducing Broad Global Catastrophic Risks"

Vicky Chuqiao Yang, Anders Sandberg|arXiv (Cornell University)|2022. 05. 06.

Evolutionary Game Theory and Cooperation인용 수 1

한 줄 요약

이 논문은 집단지능(CI) — 집단이 분산된 정보를 효과적으로 처리할 수 있는 능력 — 이 광범위한 글로벌 위기위험(GCR)을 줄이는 데 핵심 인프라로 간주되어야 한다고 제안한다. CI 원칙을 적용하여 인간 집단의 조율, 의사결정 및 회복력 수준을 향상시킴으로써, 저자들은 패닉, 핵전쟁, 잘못된 방향의 인공지능 등 다양한 위험에 대해 체계적 안정성을 강화할 수 있다고 주장한다. 이는 더 견고한 GCR 완화를 위한 다학문적 프레임워크를 제공한다.

ABSTRACT

Academic and philanthropic communities have grown increasingly concerned with global catastrophic risks (GCRs), including artificial intelligence safety, pandemics, biosecurity, and nuclear war. Outcomes of many, if not all, risk situations hinge on the performance of human groups, such as whether governments or scientific communities can work effectively. We propose to think about these issues as Collective Intelligence (CI) problems—of how to process distributed information effectively. CI is a transdisciplinary research area, whose application involves human and animal groups, markets, robotic swarms, collections of neurons, and other distributed systems. In this article, we argue that improving CI in human groups can improve general resilience against a wide variety of risks. We summarize findings from the CI literature on conditions that improve human group performance, and discuss ways existing CI findings may be applied to GCR mitigation. We also suggest several directions for future research at the exciting intersection of these two emerging fields.

연구 동기 및 목표

• 글로벌 위기위험(GCR) 완화를 집단지능(CI) 문제로 재정의하여, 개별 기술적 해결책보다 집단 수준의 성과를 강조한다.
• 불확실성과 압박 상황에서 인간 집단의 성능을 향상시키는 CI 연구의 핵심 조건을 특정하고 통합한다.
• GCR 연구와 행동과학 간 격차를 해소하기 위해 CI 통찰을 고위험 위기 완화 전략에 통합한다.
• 기존의 CI 메커니즘 — 정보 집합, 헌신한 소수자, 집단 기억 — 이 GCR 시나리오에 어떻게 적용될 수 있는지 탐색한다.
• 집단지능과 GCR의 교차 분야에서 새로운 연구 영역을 식별한다. 이는 인간-AI 협업과 재난 프레임워크에 제도적 통합을 포함한다.

제안 방법

• 다학문적 CI 문헌을 바탕으로, 다양성 있는 정보 원천, 체계적 소통, 평등한 상호작용 패턴을 포함한 고성능 집단의 핵심 설계 원칙을 식별한다.
• 물고기 무리나 신경망과 같은 생물학적 시스템의 유사성을 적용하여, 분산되고 충돌하는 입력이 어떻게 통합되어 적응 가능한 집단적 의사결정으로 이어지는지 모델링한다.
• 줄다리기 수련자의 균형대를 비유로 사용하여, 복잡한 시스템에서 발생하는 요동에 대비해 집단지능이 어떻게 안정화 인프라로 작용하는지 설명한다.
• 공유 자원의 비극과 민간의 딜레마와 같은 게임 이론적 과제를 CI 관점에서 분석하여, 갈등과 이질성을 정보 처리 향상의 자원으로 재정의한다.
• 기존 재난 관리 프레임워크(예: 세단 프레임워크, 유럽 연합 민방위 기구)에 CI 방법을 제도적으로 통합하여 그 적응 능력을 향상시킨다.
• 신속한 경고를 위해 헌신한 소수자를 활용하거나, 고위험 의사결정에서 인간의 인지적 한계를 보완하기 위해 AI를 활용하는 등 새로운 적용 사례를 강조한다.

실험 결과

연구 질문

• RQ1 어떻게 집단지능 메커니즘이 광범위한 글로벌 위기위험에 대한 체계적 회복력을 향상시킬 수 있는가?
• RQ2 불확실성과 스트레스 상황에서 인간 집단의 성능을 가장 효과적으로 향상시키는 구조적 및 사회적 조건은 무엇인가?
• RQ3 집단 구성원 간 목표, 정보, 선호도의 차이가 GCR 완화에서 장애물이 아니라 강점으로 활용될 수 있는 방법은 무엇인가?
• RQ4 어떻게 인간-AI 집단지능 시스템을 설계하여 개별 구성 요소보다 더 나은 성능을 내고 상호 보완적으로 작용할 수 있는가?
• RQ5 기존 재난 관리 기관은 어느 정도 집단지능 연구 원칙을 통합함으로써 향상될 수 있는가?

주요 결과

• 집단지능은 균형을 유지하는 줄다리기 수련자의 균형대와 유사하게, 전체 시스템의 안정성과 적응 능력을 향상시키는 일반 목적의 인프라로 기능할 수 있다.
• 일반적으로 장애물로 간주되는 개인의 목표, 정보, 선호도의 차이는 효과적인 집합 메커니즘을 통해 통합되면 생산적인 자원이 될 수 있다. 이는 동물 집단 행동에서 관찰된 바 있다.
• 신경망과 물고기 무리와 같은 생물학적 시스템은 분산되고 분산된 정보 처리 방식이 환경 변화에 대해 뛰어난 집단 반응을 낳을 수 있음을 보여준다.
• 세단 프레임워크와 같은 기존 재난 관리 프레임워크에 CI 원칙을 통합하면 그 반응성과 적응 능력이 크게 향상될 수 있다.
• 헌신한 소수자는 넓은 공감대 형성 이전에 잠재적 위험을 탐지하고 신호를 보내는 조기 경고 시스템으로 작용할 수 있으며, 이는 집단적 예측 능력에서 전략적 역할을 한다.
• 인간-AI 협업 시스템은 GCR 완화의 유망한 영역을 제공한다. AI는 고차원적 패턴을 탐지하고 인간은 맥락적 및 윤리적 추론을 제공할 수 있으며, 이는 협업이 잘 설계된 경우에만 가능하다.