[论文解读] Guidance on the Safety Assurance of Autonomous Systems in Complex Environments (SACE)

Richard J. Hawkins, Matt Osborne+4 more|arXiv (Cornell University)|Aug 1, 2022

Safety Systems Engineering in Autonomy被引用 7

一句话总结

本文提出了复杂环境中自主系统安全保证（SACE）方法，这是一种将安全保证整合到动态、现实世界环境中运行的自主系统（AS）开发中的结构化方法。SACE采用以流程为导向的方法，包含31项安全保证活动，按八个阶段组织，利用安全案例模式系统性地生成可追溯、可验证、可审计的论据，以证明AS的安全性，涵盖所有设计和运行层级，最终形成可在复杂环境中部署的全面安全案例。

ABSTRACT

Autonomous systems (AS) are systems that have the capability to take decisions free from direct human control. AS are increasingly being considered for adoption for applications where their behaviour may cause harm, such as when used for autonomous driving, medical applications or in domestic environments. For such applications, being able to ensure and demonstrate (assure) the safety of the operation of the AS is crucial for their adoption. This can be particularly challenging where AS operate in complex and changing real-world environments. Establishing justified confidence in the safety of AS requires the creation of a compelling safety case. This document introduces a methodology for the Safety Assurance of Autonomous Systems in Complex Environments (SACE). SACE comprises a set of safety case patterns and a process for (1) systematically integrating safety assurance into the development of the AS and (2) for generating the evidence base for explicitly justifying the acceptable safety of the AS.

研究动机与目标

• 为解决在复杂、动态且不可预测的真实世界环境中运行的自主系统（AS）的安全保障挑战。
• 提供一种系统化、以流程为导向的方法，将安全保证整合到AS开发的全生命周期中。
• 通过可追溯的论据模式，生成明确、结构化且基于证据的安全案例，以证明AS的安全性可接受。
• 为安全工程师、开发人员和评估人员提供标准化框架，用于AS应用中的安全保证、验证与确认。
• 支持在自动驾驶、医疗保健和家庭机器人等高风险领域中对AS进行可靠的安全评估与认证。

提出的方法

• SACE被组织为一个与系统工程并行运行的八阶段流程，将安全保证贯穿于所有开发和运行阶段。
• 每个阶段使用安全案例模式（如AS运行环境、危险场景、安全运行概念）来组织安全论证。
• 该方法包含31项安全保证活动，每项活动均有明确的输入、输出和证据要求，例如验证日志和形式化模型。
• 活动组织确保从系统级安全需求到组件级设计与验证的可追溯性。
• 该方法支持测试与形式化验证，每种验证策略均需提出具体声明与理由。
• 每个阶段均以一个实例化的安全保证论据模式结束，为累积性、可审计的安全案例做出贡献。

实验结果

研究问题

• RQ1 如何将安全保证系统性地整合到复杂环境中运行的自主系统开发生命周期中？
• RQ2 在多个抽象层级和运行情境下，证明自主系统安全所需的结构化论据模式是什么？
• RQ3 如何系统性地收集并关联来自测试、形式化验证和场景分析的证据与安全需求？
• RQ4 哪些标准可确保安全案例充分、可追溯且可审计，以供监管机构和利益相关方审查？
• RQ5 当自主系统在定义的操作域之外运行时，如何确保其安全性？

主要发现

• SACE方法提供了一个全面的、以流程为导向的框架，包含31项安全保证活动，可实现自主系统安全案例的系统性构建。
• SACE的每个阶段均生成一个实例化的安全案例模式，共同构成累积性、可审计且可追溯的安全论证。
• 该方法支持测试与形式化验证，通过具体声明（如G8.2用于测试，G8.6用于形式化验证）来证明验证证据的充分性。
• 该方法确保从系统级意图到组件级实现与验证的安全需求可追溯。
• 该框架通过基于证据的声明实现安全需求的验证，包括对模型假设和测试代表性程度的合理性说明。
• 最终输出为结构化、证据充分的安全案例，证明系统设计与运行各层级均符合安全需求。