[논문 리뷰] Big Bang, Low Bar -- Risk Assessment in the Public Arena

Huw Price|arXiv (Cornell University)|2023. 07. 23.

Free Will and Agency참고 문헌 9인용 수 1

한 줄 요약

이 논문은 위험 평가에서 '빅뱅, 낮은 기준'(big bang, low bar) 원칙을 주장하며, 실패의 잠재적 심각성이 높을수록 조치를 취할 임계점이 낮아져야 한다고 주장한다. 즉, 발생 가능성은 낮아도 위험의 심각성이 크다면 조치를 취해야 한다. 이 논문은 특히 네이처(Nature)와 같은 고영향력 과학 출판물에서 인공지능의 존재적 위험을 '공포 조장'으로 폄하하는 태도를 비판하며, 이러한 원칙을 적용하지 못할 경우 치명적인 가능성을 간과하게 된다고 주장한다.

ABSTRACT

One of the basic principles of risk management is that we should always keep an eye on ways that things could go badly wrong, even if they seem unlikely. The more disastrous a potential failure, the more improbable it needs to be, before we can safely ignore it. This principle may seem obvious, but it is easily overlooked in public discourse about risk, even by well-qualified commentators who should certainly know better. The present piece is prompted by neglect of the principle in recent discussions about the potential existential risks of artificial intelligence. The failing is not peculiar to this case, but recent debates in this area provide some particularly stark examples of how easily the principle can be overlooked.

연구 동기 및 목표

• 위험 관리의 기본 원칙 중 하나인 '위험의 잠재적 피해가 클수록 조치를 취할 임계점이 낮아져야 한다'는 원칙이 널리 간과당하고 있음을 부각시키는 것.
• 네이처(Nature)를 포함한 고위험 과학 기관들이 인공지능의 존재적 위험을 '공포 조장'으로 폄하함에도 불구하고 그 잠재적 치명적 결과를 간과하고 있음을 비판하는 것.
• 존재적 위험을 부정하는 자들한테는 매우 높은 수준의 확실성 기준을 요구해야 한다는 비대칭적 증명 책임을 주장하는 것.
• 단기적·장기적 위험을 통합한 위험 관리 프레임워크에 포함시켜 인공지능 거버넌스에서 포괄적이고 장기적인 사고를 촉진하는 것.
• 신규로 나타나는 고위험 기술 위험에 대해 공공의 논의를 개선하기 위해 권위 있는 과학적 목소리들이 기본 위험 원칙을 지키도록 촉구하는 것.

제안 방법

• 네이처의 편집자 글과 관련 미디어 보도를 분석하여 위험 평가 사고의 결함을 규명하는 것.
• 핵심 위험 관리 원칙을 적용: 실패의 결과가 더 치명적일수록 행동을 취할 확률 기준이 낮아져야 한다는 원칙.
• 타이타닉, 챌린저와 같은 역사적 사례를 통해 낮은 확률이지만 고위험 위험을 忽시할 경우 초래하는 결과를 설명하는 것.
• 거짓 음성(false negative)의 비용이 매우 높기 때문에 존재적 위험을 부정하는 자들에게는 증명 책임이 매우 무겁다는 주장을 펼치는 것.
• '빅뱅, 낮은 기준'이라는 개념적 슬로건을 제안하여 이 원칙을 기억하기 쉽게 만들며, '상관관계는 인과관계가 아니다'와 유사한 역할을 하게 하는 것.
• 단기적·장기적 위험 논의를 둘러싼 극단화를 거부하고, 포괄적이고 다학제적 인공지능 거버넌스의 중요성을 강조하는 것.

실험 결과

연구 질문

• RQ1 왜 인공지능의 존재적 위험은 잠재적으로 치명적인 규모임에도 불구하고 종종 추상적 또는 공포 조장으로 폄하되는가?
• RQ2 낮은 발생 확률이지만 고위험인 위험을 심각한 고려 대상으로 삼을 적절한 기준은 무엇인가?
• RQ3 거짓 양성과 거짓 음성 간의 비용 비대칭성은 위험 평가에서 증명 책임에 어떤 영향을 미치는가?
• RQ4 네이처와 같은 영향력 있는 과학 기관들은 왜 공공 논의에서 기본 위험 관리 원칙을 지키지 못하는가?
• RQ5 고위험 기술에서 치명적 위험을 간과하지 않도록 공공 및 과학적 논의를 어떻게 개선할 수 있는가?

주요 결과

• 네이처 편집자 글에서 인공지능 존재적 위험을 '공포 조장'으로 폄하한 것은, 치명적인 결과가 초래될 수 있는 만큼 행동에 대한 기준을 낮춰야 할 '빅뱅, 낮은 기준' 원칙을 적용하지 못한 실패를 반영한다.
• 실제 존재적 위험을 간과하는 거짓 음성의 비용은 너무 높기 때문에, 존재적 위험을 부정하는 자들에게는 매우 높은 수준의 확실성 기준을 요구해야 한다.
• 네이처와 같은 저명한 과학적 목소리들은 기본 위험 원칙을 지켜야 할 책임이 있지만, 인공지능 존재적 위험 논의에서는 이 의무를 이행하지 못했다.
• 상관관계는 인과관계가 아니다'처럼 널리 알려진 슬로건이 존재하지 않아 고위험 위험 평가 원칙이 공적 논의에서 간과당하고 있다.
• 단기적 위험과 장기적 위험 모두 함께 다뤄져야 하며, 경로 의존성 때문에 초기 결정보다 미래 선택의 여지가 제한되기 때문이다.
• 이 비판은 인공지능을 넘어서 새로운 기술에서 동일한 위험 관리 실패가 반복될 가능성이 있으며, 이는 공적 논의의 체계적 개선이 필요하다는 점을 강조한다.