[논문 리뷰] Democratising Risk: In Search of a Methodology to Study Existential Risk

Carla Zoe Cremer, Luke Kemp|arXiv (Cornell University)|2021. 12. 27.

Space Science and Extraterrestrial Life인용 수 14

한 줄 요약

이 논문은 존재적 위험 연구(ERS) 분야에서 지배적인 '기술적 우울리즘 접근법'(TUA)을 비판하며, 도덕적 엘리티즘, 모호한 정의, 높은 위험을 수반하는 정책 제안 등 여러 체계적 결함을 지적한다. 이를 바탕으로 폐기된 윤리와 존재적 윤리의 분리, 철저한 위험 평가 프레임워크의 통합, 다양한 전문성의 통합을 통해 정책의 합리성과 정당성, 포괄성을 향상시키는 민주화된 방법론을 제안한다.

ABSTRACT

Studying potential global catastrophes is vital. The high stakes of existential risk studies (ERS) necessitate serious scrutiny and self-reflection. We argue that existing approaches to studying existential risk are not yet fit for purpose, and perhaps even run the risk of increasing harm. We highlight general challenges in ERS: accommodating value pluralism, crafting precise definitions, developing comprehensive tools for risk assessment, dealing with uncertainty, and accounting for the dangers associated with taking exceptional actions to mitigate or prevent catastrophes. The most influential framework for ERS, the 'techno-utopian approach' (TUA), struggles with these issues and has a unique set of additional problems: it unnecessarily combines the study of longtermism and longtermist ethics with the study of extinction, relies on a non-representative moral worldview, uses ambiguous and inadequate definitions, fails to incorporate insights from risk assessment in relevant fields, chooses arbitrary categorisations of risk, and advocates for dangerous mitigation strategies. Its moral and empirical assumptions might be particularly vulnerable to securitisation and misuse. We suggest several key improvements: separating the study of extinction ethics (ethical implications of extinction) and existential ethics (the ethical implications of different societal forms), from the analysis of human extinction and global catastrophe; drawing on the latest developments in risk assessment literature; diversifying the field, and; democratising its policy recommendations.

연구 동기 및 목표

• 현재 존재적 위험 연구에서의 체계적 결함, 특히 기술적 우울리즘 접근법(TUA)의 지배적 지위를 규명하는 것.
• ERS에서 가치의 다원성 부족, 일관되지 않은 정의, 좁은 도덕적 프레임워크에 대한 과도한 의존 문제를 해결하는 것.
• 윤리적 분석과 위험 평가를 분리하고 민주적 정당성을 제고하는 재구성된 방법론을 제안하는 것.
• 기존의 위험 평가 분야에서 유래한 통찰을 통합하여 정책 제안의 탄탄함과 안전성을 향상시키는 것.

제안 방법

• 폐기 윤리와 존재적 윤리를 분리하여 도덕적 가치와 경험적 위험 분석을 혼동하지 않도록 하는 것.
• 공중보건, 공학, 환경 과학 등 분야에서 유래한 공식적 위험 평가 방법론을 도입할 것을 주장하는 것.
• 서구권 외, 비기술적, 비학술적 시각을 포함하여 연구 팀의 다양성을 증진시켜 도덕적 및 인지적 편향을 줄이는 것.
• 정의와 분류 기준을 투명하고 표준화된 방식으로 개발하여 비교 가능성과 엄밀함을 향상시키는 것.
• 참여형 정책 설계의 필요성을 강조하여 제안된 정책가 사회적 책임을 지키고 보안화 경향을 줄이는 것.
• empirically 기반된 포괄적 위험 평가에 기반해, 추상적이고 고위험 성향의 개입을 넘어서야 한다는 점을 당부하는 것.

실험 결과

연구 질문

• RQ1 존재적 위험 연구에서의 기술적 우울리즘 접근법은 가치의 다원성과 다양한 도덕적 세계관을 어떻게 수용하지 못하는가?
• RQ2 세계적 위기 연구에서 비대표적인 도덕적 프레임워크에 의존할 경우 발생하는 경험적 및 윤리적 위험은 무엇인가?
• RQ3 기존 전문 분야에서 유래한 위험 평가 방법론은 어떻게 존재적 위험 분석의 엄밀함과 투명성을 향상시키는 데 적용될 수 있는가?
• RQ4 현재 존재적 위험의 정의와 분류 방식은 어떤 방식으로 위험 완화 전략의 신뢰성과 안전성에 악영향을 미치는가?
• RQ5 존재적 위험 연구의 정책 제안은 어떻게 민주화되어야 하여 보안화 및 엘리트 중심의 의사결정 위험을 줄일 수 있는가?

주요 결과

• 기술적 우울리즘 접근법(TUA)은 장기주의와 장기주의 윤리를 폐기 연구와 결합하는 방식으로, 경험적으로나 윤리적으로 정당성이 없다.
• TUA는 존재적 위험의 모호하고 부적절한 정의에 의존하여 분석과 정책 제안의 일관성에 문제가 발생시킨다.
• TUA 프레임워크는 위험의 임의적 분류를 촉진하고, 공식적 위험 평가 분야의 통찰을 간과한다.
• TUA의 배경이 되는 도덕적 가정은 보안화 및 악용의 위험에 노출되어 있으며, 특히 끝내기 어려운 고위험 개입에 적용될 경우 더욱 심각하다.
• 전문성의 다양화와 윤리적 분석과 경험적 분석의 분리를 통해 위험 평가를 민주화하면 정책 결과의 정당성과 안전성이 향상된다.
• 공식적 위험 평가와 포괄적 토론을 통합한 재구성된 방법론은 편향을 줄이고 존재적 위험 연구의 탄탄함을 제고할 수 있다.