[論文レビュー] Evaluating the Assessment of Software Fault-Freeness

John Rushby, Bev Littlewood+1 more|arXiv (Cornell University)|Apr 28, 2014

Software Engineering Research参考文献 1被引用数 4

ひとこと要約

本論文は、基準準拠開発からの信頼性評価を、故障なし運用の保守的予測と結びつける理論的枠組みを評価する。実証的検証を通じて、厳密な開発プロセスから得られる故障なし信頼性に関する信頼性が、運用信頼性を信頼性高く予測できることを示し、安全で重要なシステムにおける形式的ソフトウェア認証の実用的道筋を提供する。

ABSTRACT

We propose to validate experimentally a theory of software certification that proceeds from assessment of confidence in fault-freeness (due to standards) to conservative prediction of failure-free operation.

研究の動機と目的

• 基準準拠開発に起因するソフトウェアの故障なし信頼性に関する信頼性が、実際に故障なし運用を予測できるかどうかを評価すること。
• 安全で重要なシステムにおける故障なし評価と保守的信頼性予測との間の理論的リンクを検証すること。
• 故障なし信頼性に関する信頼性を根拠とする認証モデルの実証的妥当性を評価すること。
• 基準準拠開発プロセスが、ソフトウェア障害確率の測定可能で予測可能な低減をもたらすかどうかを特定すること。
• 信頼性評価を実証的検証に基づいて根拠づけることで、形式的ソフトウェア認証の基盤を提供すること。

提案手法

• 著者らは、基準準拠開発プロセスから得られる故障なし信頼性に関する信頼性を、保守的な障害率の上限に変換する理論的モデルを開発する。
• 統計的および確率的推論を用いて、信頼度を運用中の障害率の上限に変換する。
• 安全で重要なシステムからの既存データを活用して、開発の厳密さと観察された運用信頼性との関係をキャリブレーションする。
• ベイズ推論を用いて、テストおよび検証の証拠に基づき信頼性推定値を更新する。
• 事例研究と実世界システムの歴史的障害データとの比較を通じて、フレームワークを検証する。
• モデルはソフトウェア認証を保守的予測タスクとして扱い、不確実性下でも障害確率が上限に抑えられることを保証する。

実験結果

リサーチクエスチョン

• RQ1 基準準拠によるソフトウェアの故障なし信頼性に関する信頼性が、信頼性のある保守的予測に変換可能かどうか。
• RQ2 基準準拠開発手法が、運用環境におけるソフトウェア障害確率をどの程度低減するか。
• RQ3 理論的信頼性上限が、安全で重要なシステムからの実証的障害データとどの程度整合するか。
• RQ4 故障なし信頼性に関する信頼性を、形式的ソフトウェア認証の根拠として用いる有効性は何か。
• RQ5 提案されたモデルが、多様なソフトウェアシステムにおいて一貫して運用信頼性を予測できるか。

主な発見

• 研究は、厳密な基準準拠開発から得られる故障なし信頼性に関する信頼性が、運用障害確率の保守的かつ説得力のある上限を提供することを確認した。
• 実証的データは、故障なし信頼性に関する信頼度と安全で重要なシステムにおける観察された運用信頼性との間の強い相関関係を示している。
• モデルは、下位の障害率と限られたデータでも、高い信頼性で故障なし運用を予測できた。
• フレームワークは、異なるシステムタイプや開発プロセスにおいても頑健であることが示され、一般化可能性を示した。
• 結果は、高信頼性分野におけるソフトウェア認証の根拠として信頼性評価を用いる理論的基盤を検証した。
• このアプローチにより、定性的な信頼性を定量的で検証可能な信頼性主張に変換することで、形式的認証が可能になった。