[논문 리뷰] The fallacy of evidence based policy

Andrea Saltelli, Mario Giampietro|RePEc: Research Papers in Economics|2015. 05. 25.

Complex Systems and Decision Making인용 수 7

한 줄 요약

이 논문은 과학적 서사가 단순화된 바탕에 뿌리를 두고 있어 복잡한 사회적·환경적 과제를 왜곡하는 증거 기반 정책을 비판한다. 복잡성과 불확실성에 대응하기 위해 증거 기반 정책을 '강건한 정책'으로 대체할 것을 제안하며, 이는 타당성, 실현 가능성, 바람직함의 다각적 범주에서의 평가를 통해 불확실성에 대한 정책의 회복력을 강화하는 프레임워크이다.

ABSTRACT

The use of science for policy is at the core of a perfect storm generated by the insurgence of several concurrent crises: of science, of trust, of sustainability. The modern positivistic model of science for policy, known as evidence based policy, is based on dramatic simplifications and compressions of available perceptions of the state of affairs and possible explanations (hypocognition). This model can result in flawed prescriptions. The flaws become more evident when dealing with complex issues characterized by concomitant uncertainties in the normative, descriptive and ethical domains. In this situation evidence-based policy may concur to the fragility of the social system. Science plays an important role in reducing the feeling of vulnerability of humans by projecting a promise of protection against uncertainties. In many applications quantitative science is used to remove uncertainty by transforming it into probability, so that mathematical modelling can play the ritual role of haruspices. This epistemic governance arrangement is today in crisis. The primacy of science to adjudicate political issues must pass through an assessment of the level of maturity and effectiveness of the various disciplines deployed. The solution implies abandoning dreams of prediction, control and optimization obtained by relying on a limited set of simplified narratives to define the problem and moving instead to an open exploration of a broader set of plausible and relevant stories. Evidence based policy has to be replaced by robust policy, where robustness is tested with respect to feasibility (compatibility with processes outside human control); viability (compatibility with processes under human control, in relation to both the economic and technical dimensions), and desirability domain (compatibility with a plurality of normative considerations relevant to a plurality of actors).

연구 동기 및 목표

• 증거 기반 정책의 지배적 개념이 복잡한 사회적·환경적 문제를 다루기에 지나치게 단순화되어 있음을 도전한다.
• 과학 지식을 정량적 증거로 단순화하는 방식이 범위적·술어적·윤리적 불확실성에 대비한 정책의 회복력을 떨어뜨린다는 점을 부각한다.
• 현재 과학-정책 모델이 예측 모델과 확률적 프레임워크에 대한 오해된 신뢰를 조장하여 체계적 취약성을 악화시킨다고 주장한다.
• 예측과 최적화에서 벗어나 다양한 가능성이 있는 서사의 개방적 탐색으로의 전환을 옹호한다.
• 다양한 이해관계자 관점에서 타당성, 실현 가능성, 바람직함에 기반한 새로운 정책 프레임워크인 '강건한 정책'을 수립한다.

제안 방법

• 타당성(외부적으로 통제 불가능한 과정), 실현 가능성(인간이 통제하는 경제적·기술적 과정), 바람직함(다원적 도덕적 가치)이라는 세 가지 차원을 중심으로 정책 수립을 재구성한다.
• 특히 높은 불확실성 환경에서 확률적 모델링을 진정한 이해의 대체 수단으로서의 의식적인 의식적 행동으로 간주하여 기각한다.
• 복잡한 현실을 좁고 다룰 수 있는 서사로 무의식적으로 단순화하는 '허위인지' 개념을 도입한다.
• 통계적 증거를 우선시하는 것보다는 정량화되지 않은 다양한 서사를 포함하는 다원적 정책 설계 접근을 옹호한다.
• 철학적 및 시스템 이론적 관점에서 과학을 정책 결정의 유일한 기준으로 삼는 인지적 거버넌스 모델을 비판한다.
• 다양한 복원력 기준을 통해 정책 옵션을 평가하는 구조화된 절차를 통해 증거 기반 정책에서 강건한 정책으로의 전환을 제안한다.

실험 결과

연구 질문

• RQ1 왜 증거 기반 정책은 복잡한 정책 분야에서의 체계적 불확실성을 해결하지 못하는가?
• RQ2 과학 지식을 증거로 단순화하는 방식이 정책의 취약성을 어떻게 증가시키는가?
• RQ3 정책 결정에서 불확실성을 관리하기 위해 확률적 모델링을 사용하는 데에는 어떤 한계가 있는가?
• RQ4 예측 정확성이나 최적화에 의존하지 않고 정책을 어떻게 강건하게 만들 수 있는가?
• RQ5 타당성, 실현 가능성, 바람직함 영역에서 정책의 강건성을 평가하기 위해 필요한 기준은 무엇인가?

주요 결과

• 증거 기반 정책는 복잡한 현실을 왜곡하는 과도한 단순화된 서사인 '허위인지'에 기반한다. 이는 체계적 취약성을 증가시킨다.
• 과학이 정책 수립에서 우선시되는 것은 현재 과학의 신뢰성, 신뢰도, 지속 가능성에 대한 위기로 약화되고 있다.
• 정량적 과학은 종종 불확실성을 확률로 대체함으로써 의식적인 모델링을 통해 잘못된 통제의 느낌을 조장한다.
• 강건한 정책는 외부 과정(타당성), 내부 인간 통제 시스템(실현 가능성), 다원적 가치(바람직함)의 세 영역에서 평가되어야 한다.
• 증거 기반 정책에서 강건한 정책으로의 전환은 예측과 통제의 꿈을 弃하고 더 넓은 범위의 가능성이 있는 서사를 탐색하는 데로의 전환을 수반한다.
• 제안된 프레임워크는 다양한 도덕적, 기술적, 경제적 고려사항을 통합한 일관된 평가 과정을 통해 정책의 회복력을 향상시킨다.