[논문 리뷰] On the interplay of data and cognitive bias in crisis information management -- An exploratory study on epidemic response

David A. Paulus, Ramian Fathi외 3명|arXiv (Cornell University)|2022. 01. 10.

Disaster Management and Resilience인용 수 5

한 줄 요약

이 연구는 패닉 상황에서의 정보 관리 과정에서 데이터 편향과 인지 편향(특히 확인 편향)이 어떻게 상호작용하는지 조사한다. 경험 많은 전문가를 대상으로 한 3단계 실험 연구를 통해 분석가들이 편향을 감지해도 데이터를 보정하지 못함을 발견하였으며, 엄밀한 보정보다는 즉각적인 가용 정보 제품 제공을 우선시함으로써 오류 결론이 반복되는 자기 유도적 편향적 사고의 순환을 악화시킴을 확인하였다.

ABSTRACT

Humanitarian crises, such as the 2014 West Africa Ebola epidemic, challenge information management and thereby threaten the digital resilience of the responding organizations. Crisis information management (CIM) is characterised by the urgency to respond despite the uncertainty of the situation. Coupled with high stakes, limited resources and a high cognitive load, crises are prone to induce biases in the data and the cognitive processes of analysts and decision-makers. When biases remain undetected and untreated in CIM, they may lead to decisions based on biased information, increasing the risk of an inefficient response. Literature suggests that crisis response needs to address the initial uncertainty and possible biases by adapting to new and better information as it becomes available. However, we know little about whether adaptive approaches mitigate the interplay of data and cognitive biases. We investigated this question in an exploratory, three-stage experiment on epidemic response. Our participants were experienced practitioners in the fields of crisis decision-making and information analysis. We found that analysts fail to successfully debias data, even when biases are detected, and that this failure can be attributed to undervaluing debiasing efforts in favor of rapid results. This failure leads to the development of biased information products that are conveyed to decision-makers, who consequently make decisions based on biased information. Confirmation bias reinforces the reliance on conclusions reached with biased data, leading to a vicious cycle, in which biased assumptions remain uncorrected. We suggest mindful debiasing as a possible counter-strategy against these bias effects in CIM.

연구 동기 및 목표

• 전염병 대응 과정에서의 위기 정보 관리(CIM)에서 데이터 편향과 인지 편향이 어떻게 상호작용하는지 조사하기 위해.
• 적응형 정보 관리 접근 방식이 데이터 편향과 확인 편향의 병합된 영향을 완화할 수 있는지 평가하기 위해.
• 고압적 위기 환경에서 사려 깊은 보정 전략이 어떻게 작용할 수 있는지 탐색하기 위해.
• 위기 데이터 및 의사결정 과정에서 편향을 인식하고도 실천에서 보정 노력이 실패하는 이유를 이해하기 위해.

제안 방법

• 경험 많은 위기 의사결정자 및 정보 분석가를 대상으로 3단계 실험 연구를 수행함.
• 실제 상황을 반영하는 현실적인 시뮬레이션된 전염병 위기 상황을 사용하여 시간 압박, 불확실성, 자원 제한 조건을 구현함.
• 참가자들에게 편향된 데이터 세트를 제공하고, 정보를 집계, 분석, 시각화하여 의사결정 지원 제품으로 제작하도록 요구함.
• 실시간 협업과 급박한 의사결정을 시뮬레이션하기 위해 그룹 토론을 진행함.
• 정보 제품 개발 및 의사결정 과정을 기록하기 위해 관찰 방법을 사용함.
• 가정에 대한 인식과 반증 가능한 증거에 대한 개방성을 장려함으로써 사려 깊은 보정 원칙을 통합함.

실험 결과

연구 질문

• RQ1 전염병 대응 과정에서의 위기 정보 관리에서 데이터 편향과 인지 편향은 어떻게 상호작용하는가?
• RQ2 편향이 감지되었을 때 위기 정보 관리자가 데이터를 얼마나 잘 보정하는가?
• RQ3 결과 오류를 줄이기 위해 중요시되는 보정 노력이 왜 간과되는가?
• RQ4 확인 편향은 초깃점이 편향된 정보 제품에 기반한 결론에 어떻게 강화 작용하는가?
• RQ5 사려 깊은 보정 전략은 위기 상황에서 편향적 결론의 순환을 끊는 데 효과적인가?

주요 결과

• 실험 중 편향이 명시적으로 감지되었음에도 분석가들은 끊임없이 데이터 보정을 실패함.
• 빠르고 시각적으로 매력적인 정보 제품을 즉각 제공하고자 하는 압박이 정확성보다 우선시되어 보정 노력이 간과됨.
• 의사결정자들은 자원 배분 결정에서 편향된 정보 제품에 의존함으로써 잘못된 데이터 처리의 실제 영향을 입증함.
• 확인 편향은 편향된 데이터에서 유도된 결론에 대한 의존도를 심화시켜 초깃점의 오류를 수정할 수 없는 자기 유도적 순환을 창출함.
• 이론적 편향 인식과 고압적 위기 환경에서의 실질적 보정 실행 사이에 중요한 격차가 존재함을 밝혀냄.
• 사려 깊은 보정은 효과적인 전략으로 밝혀졌으나 아직 활용되지 않아, 체계적으로 적용된다면 편향적 결론의 순환을 끊는 데 기여할 수 있음.