[論文レビュー] Problems with Risk Matrices Using Ordinal Scales

Michael Krisper|arXiv (Cornell University)|Mar 7, 2021

Fuzzy Systems and Optimization参考文献 22被引用数 10

ひとこと要約

この論文は順序尺度を用いたリスクマトリクスを批判し、範囲圧縮、リスクの逆転、不確実性の無視といった24の体系的欠陥を特定し、それらが信頼性を損なうことを明らかにしている。リスク意思決定における一貫性、正確性、検証可能な性能を確保するため、比尺度と確率分布を用いた完全な定量的リスク評価手法の導入を提唱する。

ABSTRACT

In this paper, we discuss various problems in the usage and definition of risk matrices. We give an overview of the general process of risk assessment with risk matrices and ordinal scales. Furthermore, we explain the fallacies in each phase of this process and give hints on which decisions may lead to more problems than others and how to avoid them. Among those 24 discussed problems are ordinal scales, semi-quantitative arithmetics, range compression, risk inversion, ambiguity, and neglection of uncertainty. Finally, we make a case for avoiding risk matrices altogether and instead propose using fully quantitative risk assessment methods.

研究の動機と目的

• 順序尺度に依存するリスクマトリクスに内在する欠陥や誤謬を特定し、体系的に分析すること。
• 順序尺度、準定量的算術、範囲圧縮が、一貫性のないあるいは誤解を招くリスクランク付けを引き起こす仕組みを示すこと。
• 人間のバイアス、不確実性の無視、遅延フィードバックがリスク評価の結果を歪める役割を強調すること。
• 定性的および準定量的手法が実証的裏付けを欠き、意思決定者を誤導する可能性があることを主張すること。
• より説得力があり、透明性が高く、正確な代替手段として、完全な定量的リスク評価手法の導入を推進すること。

提案手法

• リスク同定、スコアリング、集約、不確実性の取り扱い、意思決定の5段階からなるリスクアセスメントプロセスを通じてリスクマトリクスを分析すること。
• 実世界および人工的な例（例：MIL-STD-882Cの燃料漏れシナリオ）を用いて、リスクの逆転や誤った優先順位付けを説明すること。
• 意思決定理論および行動経済学の原則を応用し、不確実性回避や権威バイアスといった認知バイアスを暴露すること。
• 順序尺度を用いたリスクマトリクスと、比尺度、確率分布、不確実性の伝播を用いる定量的手法を対比すること。
• 攻撃ツリーと確率的モデリングに基づくフレームワークRISKEEを活用した、完全な定量的リスクアセスメントへの移行を提言すること。
• リスクモデルの長期的妥当性を検証するため、フィードバックループとパフォーマンス測定の必要性を強調すること。

実験結果

リサーチクエスチョン

• RQ1 リスクマトリクスにおける順序尺度は、どのように一貫性のないあるいは直感に反するリスクランク付けを生じさせるか？
• RQ2 リスクマトリクスにおける範囲圧縮は、リスクの真の大きさをどのように歪めるか？
• RQ3 なぜリスクマトリクスでリスクの逆転が生じるのか、そしてそれが安全・セキュリティ分野における実務的結果にどのような影響を及えるか？
• RQ4 定性的リスクマトリクスで不確実性が無視されることで、リスク意思決定の信頼性はどのように損なわれるか？
• RQ5 権威バイアスや不確実性回避といった人間のバイアスは、リスクマトリクスの誤った使用をどれほど強化するか？

主な発見

• 順序尺度を用いたリスクマトリクスは、しばしば直感に反するランク付けを生じる。例えば、低容量・高頻度の危険要因が、高容量・低頻度の要因よりも低いリスクと評価されることがある。
• MIL-STD-882Cの事例では、1時間に5回、1回1オンスの漏れ（週間換算で52.5ポンド）が「中程度」リスクと評価されているが、週10ポンドの漏れは「高リスク」と評価されており、前者の漏れ量が著しく多いにもかかわらず、リスク評価が逆転している。
• リスクマトリクスにおける準定量的算術は不確実性を保持しないため、推定の信頼性を評価したり、誤差を計算に伝播させたりすることが不可能である。
• リスクアセスメントにおける即時のフィードバックの欠如は、検証されておらず改善されていないモデルを生み出し、長期的な意思決定の質を弱める。
• 定性的リスクマトリクスが結果を改善する実証的証拠はほとんどなく、しばしば厳密さと管理の仮想的イメージを生み出すにとどまる。
• 確率分布と不確実性の伝播を用いる定量的手法は、真のリスクをよりよく反映でき、検証可能で説得力のある意思決定を支援できる。