[论文解读] Guidance on the Assurance of Machine Learning in Autonomous Systems (AMLAS)
AMLAS 提供一个六阶段的过程和安全论证模式，系统性地确保自治系统中的 ML 组件，将系统危害与 ML 专门的要求及证据性论证关联起来。
Machine Learning (ML) is now used in a range of systems with results that are reported to exceed, under certain conditions, human performance. Many of these systems, in domains such as healthcare , automotive and manufacturing, exhibit high degrees of autonomy and are safety critical. Establishing justified confidence in ML forms a core part of the safety case for these systems. In this document we introduce a methodology for the Assurance of Machine Learning for use in Autonomous Systems (AMLAS). AMLAS comprises a set of safety case patterns and a process for (1) systematically integrating safety assurance into the development of ML components and (2) for generating the evidence base for explicitly justifying the acceptable safety of these components when integrated into autonomous system applications.
研究动机与目标
- 定义一个分阶段的流程，将安全保障整合到自治系统中的 ML 组件开发中。
- 将系统级危害和风险分析与 ML 专门的安全要求联系起来。
- 提供可重复使用的安全论证模式，以明确的假设和不确定性对 ML 安全性主张进行论证。
- 实现 ML 开发与系统安全分析之间的迭代反馈，以应对相互依赖性。
- 产出可集成到整个系统安全论证中的 ML 组件显式安全性论证。
提出的方法
- 定义六个 AMLAS 阶段：ML 安全保障范围界定、ML 安全需求、数据管理、模型学习、模型验证，以及部署集成。
- 利用前序活动的工件来实例化安全保障论证模式，以证明 ML 安全性主张（基于 GSN 的模式）。
- 将系统安全需求转化为 ML 安全需求，并通过评审和仿真进行验证。
- 定义数据需求，并生成/验证与 ML 安全需求对齐的数据集。
- 在开发和测试 ML 模型的同时，使用专门的论证模式记录学习和数据过程。
- 在整个系统中集成并测试 ML 组件，并基于反馈按需要进行迭代。
实验结果
研究问题
- RQ1如何将系统级危害与安全需求有效映射到自治系统的 ML 专门安全需求？
- RQ2哪些工件与论证模式最能支持在明确的安全论证中证明 ML 组件符合安全需求？
- RQ3如何记录数据管理和模型学习，以实现对 ML 组件的可追溯、可审计的保障？
- RQ4在 AMLAS 中，ML 开发阶段与系统安全分析之间的迭代反馈的作用是什么？
- RQ5如何将 AMLAS 与现有安全标准整合，以监管安全关键领域中的 ML 组件？
主要发现
- AMLAS 提供一个结构化的六阶段流程，以为自治系统生成显式的 ML 安全性论证。
- 该方法将系统安全要求与 ML 专门安全要求联系起来，并通过分阶段的安全论证模式提供论证支持。
- 安全保障是一个迭代过程，允许基于验证结果的反馈重新审视阶段（如数据、学习、验证）。
- AMLAS 强调在每个阶段的安全论证中对假设、权衡与不确定性进行显式记录。
- 基于 GSN 的论证模式用于在各阶段记录和实例化安全主张。
- 该方法论聚焦离线有监督学习，并承认对其他类型的 ML（如强化学习）潜在的益处。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。