[論文レビュー] Remarks on statistical aspects of safety analysis of complex systems

Л. Пал, Mihály Makai|ArXiv.org|Aug 23, 2003

Software Reliability and Analysis Research参考文献 2被引用数 21

ひとこと要約

本稿では、不確実な入力変数と出力変数をブラックボックスモデルで結びつけることで、複雑なシステムの安全性分析のための統計枠組みを提案する。安全な出力の信頼水準を達成するためのシミュレーション実行回数を決定するための式を導出する。耐えうる区間法と符号検定法が従属する出力に対して有効であることが示され、変数を別々に検証すると、無視された相関関係のため、安全でない結論に至る可能性がある。

ABSTRACT

We analyze safety problems of complex systems using the methods of mathematical statistics for testing the output variables of a code simulating the operation of the system under consideration when the input variables are uncertain. We have defined a black box model of the code and derived formulas to calculate the number of runs needed for a given confidence level to achieve a preassigned measure of safety. In order to show the capabilities of different statistical methods, firstly we have investigated one output variable with unknown and known distribution functions. The general conclusion has been that the different methods do not bring about large differences in the number of runs needed to ensure a given level of safety. Analyzing the case of several statistically dependent output variables we have arrived at the conclusion that the testing of the variables separately may lead to false, safety related decisions with unforseen consequences. We have advised two methods: the sign test and the tolerance interval methods for testing more than one mutually dependent output variables.

研究の動機と目的

• 不確実な入力を有する複雑なシステムの安全性分析のための統計枠組みを開発すること。
• 安全な結果の所定の信頼水準を達成するために必要なシミュレーション実行回数を特定すること。
• 既知および未知の分布仮定下でのさまざまな統計手法（信頼区間、分位数検定、耐えうる区間など）の性能を評価すること。
• 個々の変数を別々にテストすると誤った安全性評価につながる可能性がある、安全でないシステムにおける従属する出力変数の課題に対処すること。
• 特に符号検定と耐えうる区間を含む、従属関係下での多変量安全性分析に耐性のある統計手法を提案すること。

提案手法

• 入力変数（既知または未知の分布を有する）がシミュレーションコードを通じて出力変数にマッピングされるブラックボックスモデルを定式化する。
• 単一の出力変数に対する安全性を評価するために、古典的統計手法（信頼区間、分位数検定、ベイズ的手法）を適用する。
• 所定の割合の出力が安全範囲内にある確率を推定するための耐えうる区間法の新規変種を導入する。
• 順序統計量と再帰的確率密度関数を用いて、従属する複数の出力変数への分析を拡張する。
• 出力区間の同時確率分布の再帰的公式を導出し、ベータ関数および不完全ベータ関数を活用する。
• 安全範囲内に入るシミュレーションの割合の確率密度をモデル化するためにベータ分布を用い、システムの安全性に関する統計的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 入力の不確実性が存在する状況で、所定の信頼水準を達成するためのシミュレーション実行回数はどの程度か？
• RQ2 信頼区間、耐えうる区間、符号検定などの異なる統計手法は、安全性保証に必要なサンプルサイズにおいてどのように比較されるか？
• RQ3 安全性分析において、従属する出力変数を個別に分析するリスクは何か？
• RQ4 耐えうる区間法は、複雑なシステムの安全性評価において、多変量かつ従属する出力変数を効果的に扱えるか？
• RQ5 複数の出力変数の同時分布が、全体の安全性確率推定にどのように影響するか？

主な発見

• 信頼区間、分位数検定、耐えうる区間などの異なる統計手法が、必要なシミュレーション実行回数の推定において類似した結果をもたらすことが示され、手法間での頑健性が裏付けられる。
• 従属する複数の出力変数を個別にテストすると、考慮されない相関関係のため、誤った安全性判断に至る可能性があり、結果として安全でないシステム運用につながる。
• 特に提案された変種を用いた耐えうる区間法は、所定の割合の出力が安全範囲内にある確率を信頼性を持って推定する方法を提供する。
• 出力が従属する場合、符号検定が多変量安全性分析に推奨される。これは、分布の不確実性下でも有効性を保つからである。
• 安全範囲内に入るシミュレーションの割合の同時確率分布はベータ分布に従い、そのパラメータは実行回数と成功回数から導出される。
• 全体の安全性確率の最終的な確率密度関数は、最後の出力変数の統計量にのみ依存し、以前の変数には依存しないため、多変量安全性評価が簡素化される。