[논문 리뷰] Exploring the limits of safety analysis in complex technological systems

Didier Sornette, Thomas Maillart외 1명|arXiv (Cornell University)|2012. 07. 24.

Risk and Safety Analysis참고 문헌 1인용 수 6

한 줄 요약

이 논문은 복잡한 기술 시스템, 특히 원자력 에너지 분야에서 극단적 손실을 예측하는 데 있어 확률론적 안전성 평가(PSA)의 신뢰성을 도전하며, PSA가 일관되게 대규모 사고 빈도를 과소평가한다는 점을 보여준다. 99宗의 고영향 사건으로 구성된 새로운 데이터베이스를 활용하여, 손실의 힘법 분포를 규명하고, 꼬리 지수 μ ≈ 0.7를 도출하였으며, 단순한 계류 모델을 통해 β = 1에 가까운 임계 상태에서 발생하는 5%의 계류 확률 과소평가(β)가 극단적 위험을 심각하게 과소평가하게 되는 이유를 규명한다.

ABSTRACT

From biotechnology to cyber-risks, most extreme technological risks cannot be reliably estimated from historical statistics. Therefore, engineers resort to predictive methods, such as fault/event trees in the framework of probabilistic safety assessment (PSA), which consists in developing models to identify triggering events, potential accident scenarios, and estimate their severity and frequency. However, even the best safety analysis struggles to account for evolving risks resulting from inter-connected networks and cascade effects. Taking nuclear risks as an example, the predicted plant-specific distribution of losses is found to be significantly underestimated when compared with available empirical records. Using a novel database of 99 events with losses larger than $50'000 constructed by Sovacool, we document a robust power law distribution with tail exponent mu \approx 0.7. A simple cascade model suggests that the classification of the different possible safety regimes is intrinsically unstable in the presence of cascades. Additional continuous development and validation, making the best use of the experienced realized incidents, near misses and accidents, is urgently needed to address the existing known limitations of PSA when aiming at the estimation of total risks.

연구 동기 및 목표

• 복잡한 기술 시스템, 특히 원자력 에너지 분야에서 극단적 손실을 예측하는 데 있어 확률론적 안전성 평가(PSA)의 한계를 평가하기 위해.
• 엄격한 방법론을 적용함에도 불구하고 PSA가 대규모 사고의 빈도와 심각도를 일관되게 과소평가하는 이유를 조사하기 위해.
• Sovacool(2008)의 자료에서 유래한 손실이 $50,000 이상인 99건의 사건을 포함한 신규 구축된 데이터베이스를 활용하여 경험적 손실 분포의 탄력성을 평가하기 위해.
• 개념적 계류 모델을 활용하여 계류 실패가 PSA 예측을 초월하는 위험을 어떻게 증폭시키는지 탐구하기 위해.
• 장기적 위험 추정 및 안전 의사결정을 향상시키기 위해 실제 사고 데이터를 PSA 프레임워크에 지속적으로 통합할 것을 주장하기 위해.

제안 방법

• Sovacool(2008)에서 확보한 자료를 기반으로 손실이 $50,000 이상인 99건의 고영향 기술 사고에 대한 새로운 경험적 데이터베이스를 구축하여 손실 분포를 분석하였다.
• 경험적 손실 데이터에 힘법 피팅을 적용하여 꼬리 지수 μ ≈ 0.7를 추정하였으며, 이는 손실의 무거운 꼬리 분포를 나타낸다.
• 각 실패 단계가 다음 단계로 전파될 확률 β를 가지며, 증폭 요소 Λ를 포함하는 단순한 개념적 계류 모델을 개발하였다.
• 경험적 손실 분포와 PSA가 예측한 분포를 일치시키기 위해 계류 모델을 校정하였으며, β ≈ 1에 가까운 지점에서의 민감도를 드러냈다.
• PSA 예측치와 경험적 데이터 간의 격차를 분석하기 위해, 계류 모델이 요구하는 β(≈0.95)와 PSA가 추정한 β(≈0.90)를 비교하였다.
• 모델을 통해 β(계류 확률)와 Λ(증폭 요소)에 5%의 과소평가가 있을 경우, 대규모 사고 빈도가 심각하게 과소평가됨을 입증하였다.

실험 결과

연구 질문

• RQ1 왜 확률론적 안전성 평가(PSA)는 대규모 기술 사고의 진짜 빈도를 일관되게 예측하지 못하는가?
• RQ2 주요 기술 사고에서의 손실 경험적 분포는 어떻게 되며, 이는 힘법 패턴을 따르는가?
• RQ3 실패 전파에서의 계류 효과는 PSA의 예측을 초월하는 극단적 위험을 어떻게 증폭시키는가?
• RQ4 경험적 손실 분포를 재현하기 위해 필요한 계류 확률(β)의 수준은 무엇이며, 이는 PSA 추정치와 어떻게 비교되는가?
• RQ5 작은 계류 확률 오차가 β = 1의 임계값에 가까운 상태에서 위험 추정에 미치는 민감도는 어느 정도이며, 이는 어떤가?

주요 결과

• 99건의 고영향 사고에서의 경험적 손실 분포는 꼬리 지수 μ ≈ 0.7를 가지며, 강력한 힘법 분포를 보이며 극단적인 꼬리 무거운 행동을 나타낸다.
• PSA가 예측한 손실 분포는 계류 효과를 충분히 모델링하지 못함으로써, 특히 꼬리 부분에서 대규모 사고의 빈도를 심각하게 과소평가한다.
• 단순한 계류 모델은 β(계류 확률)가 0.90(PSA 추정치)에서 0.95(경험적 피팅치)로 증가할 경우 예측된 대규모 사고 빈도가 상당히 증가함을 보여준다.
• 모델은 β가 1에 가까운 임계값일 경우 위험 추정이 매우 민감하게 반응함을 드러내며, 이는 작은 계류 확률 오차가 큰 과소평가로 이어지는 이유를 설명한다.
• PSA 예측치를 경험적 관찰치와 일치시키기 위해 계류 모델의 증폭 요소 Λ를 약 5% 증가시켜야 하며, 이는 추가로 격차를 증폭시킨다.
• 이 연구는 현재의 PSA 프레임워크가 복잡하고 상호연결된 시스템에서 총 위험을 추정하는 데 구조적으로 부적합하며, 향상시키기 위해 실세계 사고 데이터의 지속적 통합이 필요하다고 결론내린다.