[論文レビュー] Remarks on the statistical aspects of the safety analysis

Lénard Pál, Mihály Makai|arXiv (Cornell University)|Jun 6, 2013

Risk and Safety Analysis参考文献 1被引用数 3

ひとこと要約

この論文は、核および産業用安全分析で広く用いられている 0.95|0.95 許容区間法が、最大出力値の固有のランダム性により再現性と客観性を確保できないとして批判している。特に、複数の出力変数を含む状況において、より頑健な代替手法として符号検定を提案し、シミュレーションを通じて許容区間法が危険な状態を見逃す可能性があることを示している。これは、危険なシステム状態が少数にとどまる場合に顕著であり、安全評価におけるより大きな標本サイズと確率的厳密性の必要性を強調している。

ABSTRACT

We investigate the statistical methods applied throughout safety analysis of complex systems. The tolerance interval method implemented in the widely utilized 0.95|0.95 methodology is analyzed. We point out a remarkable weakness of the tolerance interval method concerning the principle of repeatability. It is proved that repeating twice the procedure, the probability that the second maximum will be larger/smaller than the first one is 50\%. This statement is not surprising, it holds for any random variable with continuous distribution function. In order to demonstrate the undesirable consequences of the tolerance interval method in the decision making, the results of the analysis of an elementary example are discussed. Instead of the tolerance interval method, we suggest another method based on the sign test which has more encouraging features, especially in the case of several output variables. The problematic aspects of the method are also discussed. Finally, we suggest a simple test case which is able to reveal if the tolerance interval method would not be capable of determining the risky states of the system, when there are only a few of them. If there are many, then the method may not explore each one in the analysis.

研究の動機と目的

• 安全分析における 0.95|0.95 許容区間法の統計的弱み、特に再現性と客観性の欠如を特定・批判すること。
• 入力の組み合わせのわずかな割合しか限界違反を引き起こさない状況において、許容区間法が危険なシステム状態を検出できないことを、シミュレート例を用いて示すこと。
• 特に多出力安全評価において、再現性と客観性をより良く保つために、符号検定を統計的に妥当な代替手法として提案すること。
• 許容区間法が、まれだが深刻な安全違反を検出できるかどうかを検証するための単純なテストケースを提示すること。
• 複雑なシステムの最良推定安全分析において、確率的推論と統計的厳密性をより統合的に取り入れることを提唱すること。

提案手法

• 著者らは、リスクを対数正規分布でモデル化した出力値を用いて、実際のコード実行の代わりにランダムサンプリングを用いて安全分析をシミュレートする。
• 95%の信頼水準で上位95%のリスク値のカバレッジ区間を推定するために、0.95|0.95 許容区間法を適用する。
• 異なる標本サイズ（N=59, 90, 458）を用いて100回の繰り返し実行を行い、観測された最大リスク値の変動性と信頼性を評価する。
• 順序統計に基づく符号検定を代替統計手法として導入し、許容区間のカバレッジ確率の不安定性を回避する。
• 限界違反を引き起こす入力状態が1%にとどまるテストケースを提示し、この方法が稀な危険な構成を検出できるかを評価する。
• 繰り返し実行における最大値が前回の最大値を上回るか下回る確率を分析し、連続分布の性質から50%であることを示す。

実験結果

リサーチクエスチョン

• RQ1 同じ手順を繰り返した場合、0.95|0.95 許容区間法は安全分析において再現性を確保できるか？
• RQ2 入力の組み合わせのわずかな割合しか限界違反を引き起こさない状況において、許容区間法は信頼性を持って稀な危険なシステム状態を検出できるか？
• RQ3 符号検定は、複数の出力変数への適用性を考慮すると、許容区間法と比較して客観性や適用可能性に優れているか？
• RQ4 標本サイズが、許容区間法による最大リスク値の推定の信頼性に与える影響は何か？
• RQ5 稀な安全上の重要な状態を検出できるかどうかを評価するための単純なテストケースを設計できるか？

主な発見

• 0.95|0.95 許容区間手順を繰り返すと、連続分布からの最大値のランダム性により、2回目の最大値が1回目の最大値を上回るか下回る確率が50%になる。
• N=59 の標本サイズでは、実際に危険な状態が1%しか存在しないにもかかわらず、55%の繰り返し実行でシステムは安全であると誤って結論づける。
• N=458（0.99|0.99 に対応）の場合、依然として1%の実行でシステムが安全であると結論づけられるが、44%の実行で著しく高いリスク値が検出され、結果の変動が顕著であることが示された。
• 許容区間法は、95%の信頼水準のため、危険な状態を約20回に1回の割合で検出できない。これは、危険な状態がまれな場合に顕著である。
• 符号検定法は、より安定しており、複数の出力変数への直接適用が可能であり、許容区間法よりも再現性と客観性に優れていることが示された。
• 1%の危険な状態を含む提案されたテストケースは、許容区間法が、特に標本サイズが小さい場合に、稀なリスクを信頼性を持って検出できない可能性を明らかにした。これにより、より大きな標本サイズまたはより優れた統計的手法の必要性が強調された。