[논문 리뷰] Problems with Risk Matrices Using Ordinal Scales

Michael Krisper|arXiv (Cornell University)|2021. 03. 07.

Fuzzy Systems and Optimization참고 문헌 22인용 수 10

한 줄 요약

이 논문은 순서 척도를 사용하는 위험 매트릭스를 비판하며, 범위 압축, 위험 역전, 불확실성 무시 등 신뢰성에 해로운 24가지 체계적 결함을 규명한다. 비율 척도와 확률 분포를 사용하는 완전한 정량적 위험 평가 방법의 도입을 주장하여 위험 의사결정의 일관성, 정확성 및 검증 가능한 성능을 확보한다.

ABSTRACT

In this paper, we discuss various problems in the usage and definition of risk matrices. We give an overview of the general process of risk assessment with risk matrices and ordinal scales. Furthermore, we explain the fallacies in each phase of this process and give hints on which decisions may lead to more problems than others and how to avoid them. Among those 24 discussed problems are ordinal scales, semi-quantitative arithmetics, range compression, risk inversion, ambiguity, and neglection of uncertainty. Finally, we make a case for avoiding risk matrices altogether and instead propose using fully quantitative risk assessment methods.

연구 동기 및 목표

• 순서 척도에 의존하는 위험 매트릭스에 내재된 결함과 오류를 식별하고 체계적으로 분석하는 것.
• 순서 척도, 준정량 산술, 범위 압축이 위험 순위 매기기에 일관성 없고 오해의 소지가 있는 결과를 초래하는 방식을 보여주는 것.
• 인간의 편향, 불확실성 무시, 지연된 피드백이 위험 평가 결과를 왜곡하는 역할을 하는 것.
• 정성적 및 준정량적 방법이 경험적 검증이 부족하며 의사결정자들을 오도할 수 있음을 강조하는 것.
• 더 타당하고 투명하며 정확한 대안으로 완전한 정량적 위험 평가 방법의 도입을 촉진하는 것.

제안 방법

• 위험 식별, 점수 매기기, 집계, 불확실성 처리, 의사결정 단계를 포함하는 다섯 단계 위험 평가 과정을 통해 위험 매트릭스 분석.
• 실제 사례와 인위적 사례(예: MIL-STD-882C의 연료 누출 시나리오)를 활용해 위험 역전과 잘못된 우선순위 매기기를 설명.
• 결정 이론과 행동 경제학 원리를 적용하여 불확실성 회피, 권위 편향 등 인지적 편향을 폭 드러내는 것.
• 순서 척도 위험 매트릭스와 비율 척도, 확률 분포, 불확실성 전파를 사용하는 정량적 방법을 대비.
• 공격 트리와 확률 모델링 기반의 RISKEE 프레임워크를 활용한 완전한 정량적 위험 평가로의 전환 제안.
• 위험 모델의 장기적 타당성을 확보하기 위해 피드백 루프와 성능 측정의 필요성을 강조하는 것.

실험 결과

연구 질문

• RQ1 위험 매트릭스의 순서 척도가 어떻게 일관성 없거나 직관에 어긋나는 위험 순위를 초래하는가?
• RQ2 위험 매트릭스에서의 범위 압축이 위험의 진정한 크기를 어떻게 왜곡하는가?
• RQ3 왜 위험 매트릭스에서 위험 역전 현상이 발생하며, 안전 및 보안 분야에서 실질적인 결과는 무엇인가?
• RQ4 정성적 위험 매트릭스에서 불확실성 무시가 위험 의사결정의 신뢰성에 어떻게 악영향을 미치는가?
• RQ5 권위 편향과 불확실성 회피와 같은 인간의 편향이 위험 매트릭스의 잘못된 사용을 얼마나 강화하는가?

주요 결과

• 순서 척도를 사용하는 위험 매트릭스는 저량, 고빈도 위험 요소가 고량, 저빈도 사고보다 낮은 위험으로 평가되는 등 직관에 어긋나는 순위를 자주 초래한다.
• MIL-STD-882C 사례에서는 시간당 5회, 1온스의 누출(주당 52.5파운드)이 중간 위험(MEDIUM)으로 평가되는 반면, 주당 10파운드의 누출은 고위험(HIGH)으로 평가되며, 이는 전자의 누출량이 훨씬 더 크다는 점에서 모순된다.
• 위험 매트릭스에서의 준정량 산술은 불확실성을 유지하지 못해 추정의 신뢰성 평가나 오차 전파 계산이 불가능하다.
• 위험 평가에서 즉각적인 피드백이 없으면 모델은 검증되지 않은 채로 개선되지 않아 장기적으로 의사결정 품질이 약화된다.
• 정성적 위험 매트릭스가 결과 향상에 실질적인 경험적 증거가 거의 없으며, 종종 엄밀함과 통제의 잘못된 인식을 야기한다.
• 확률 분포와 불확실성 전파를 사용하는 정량적 방법은 진정한 위험을 더 잘 반영하고 검증 가능하며 타당한 의사결정을 지원할 수 있다.