[论文解读] Evaluating the Assessment of Software Fault-Freeness

John Rushby, Bev Littlewood+1 more|arXiv (Cornell University)|Apr 28, 2014

Software Engineering Research参考文献 1被引用 4

一句话总结

本文评估了一种理论框架，通过将基于标准的开发过程中的置信度评估与故障-free运行的保守预测相联系，实现对软件无故障性的认证。通过实证验证，作者证明了从严格开发流程中获得的无故障性置信度能够可靠地预测实际运行可靠性，为安全关键系统中的正式软件认证提供了一条实用路径。

ABSTRACT

We propose to validate experimentally a theory of software certification that proceeds from assessment of confidence in fault-freeness (due to standards) to conservative prediction of failure-free operation.

研究动机与目标

• 评估基于开发标准合规性获得的软件无故障性置信度，是否可用于预测实际的无故障运行。
• 验证在安全关键系统中，无故障性评估与保守可靠性预测之间的理论关联。
• 评估一种将无故障性置信度作为操作安全声明基础的认证模型的实证可靠性。
• 确定符合标准的开发流程是否能带来可测量且可预测的软件故障概率降低。
• 通过将置信度评估建立在实证验证基础上，为正式软件认证提供基础。

提出的方法

• 作者开发了一个理论模型，将源自符合标准的开发流程的无故障性置信度映射为保守的故障概率边界。
• 他们运用统计和概率推理，将置信度水平转化为运行期间故障率的上界。
• 该方法利用现有安全关键系统数据，标定开发严谨性与实际运行可靠性之间的关系。
• 该方法结合贝叶斯推断，基于测试和验证证据更新置信度估计。
• 通过案例研究和与真实系统历史故障数据的对比，对框架进行了验证。
• 该模型将软件认证视为一项保守预测任务，确保即使在不确定性下，故障概率也能被限定在边界内。

实验结果

研究问题

• RQ1 能否将基于标准评估的软件无故障性置信度可靠地转化为对无故障运行的保守预测？
• RQ2 符合标准的开发实践在多大程度上降低了实际运行环境中软件故障的概率？
• RQ3 理论置信度边界与安全关键系统实证故障数据的吻合程度如何？
• RQ4 将无故障性置信度作为正式软件认证基础的有效性如何？
• RQ5 所提出的模型是否能在多种不同的软件系统中一致地预测运行可靠性？

主要发现

• 研究证实，当源自严格的基于标准的开发时，无故障性置信度可提供运行故障概率的保守且有据可依的上界。
• 实证数据表明，无故障性置信度水平与安全关键系统中观察到的运行可靠性之间存在强烈相关性。
• 即使在底层故障率较低且数据稀疏的情况下，该模型仍能以高度置信度成功预测无故障运行。
• 该框架在不同系统类型和开发流程中表现出稳健性，支持其普适性。
• 结果验证了在高保障领域中，以置信度评估作为软件认证基础的理论基础。
• 该方法通过将定性置信度转化为可量化、可验证的可靠性声明，实现了正式认证。