[论文解读] A causal model of safety assurance for machine learning

Simon Burton|arXiv (Cornell University)|Jan 14, 2022

Safety Systems Engineering in Autonomy被引用 5

一句话总结

本文提出了一种用于机器学习系统安全保证的因果模型，将安全工程原则与机器学习特有的挑战相结合。该模型通过因果推理，整合了四种证据类别——模型性能、数据质量、环境不确定性以及系统级行为——形成全面的安全论证，从而实现对网络物理系统中机器学习的严格、标准化的安全保证。

ABSTRACT

This paper proposes a framework based on a causal model of safety upon which effective safety assurance cases for ML-based applications can be built. In doing so, we build upon established principles of safety engineering as well as previous work on structuring assurance arguments for ML. The paper defines four categories of safety case evidence and a structured analysis approach within which these evidences can be effectively combined. Where appropriate, abstract formalisations of these contributions are used to illustrate the causalities they evaluate, their contributions to the safety argument and desirable properties of the evidences. Based on the proposed framework, progress in this area is re-evaluated and a set of future research directions proposed in order for tangible progress in this field to be made.

研究动机与目标

• 解决由于指标碎片化和证据整合不足，导致基于机器学习的网络物理系统在安全保证方面缺乏共识的问题。
• 开发一个结构化框架，使机器学习安全与ISO 21448（SOTIF）等功能安全标准及安全工程原则保持一致。
• 提供一个因果模型，将故障原因与模型不足及系统级危害关联起来，实现可追溯的安全论证。
• 确立可跨多种机器学习应用和训练范式进行验证的有效安全证据标准。
• 通过为安全主张定义可度量且具有因果基础的证据，弥合机器学习研究与安全工程之间的差距。

提出的方法

• 提出一种机器学习系统中与安全相关的故障的因果模型，识别模型不足的根本原因及其向系统级故障的传播路径。
• 定义四种安全论证证据类别：模型性能、数据质量、环境不确定性以及系统级行为。
• 使用抽象形式化方法，阐明输入条件、模型行为与安全结果之间的因果关系。
• 将定性工程判断与统计相关性相结合，以验证复杂运行领域中的因果路径。
• 应用结构化的安全分析技术，评估不同故障模式和运行条件下的不足之处。
• 通过证据组合支持保证案例的迭代开发，使每一类证据均能强化其他类别的假设。

实验结果

研究问题

• RQ1 如何在基于机器学习的系统中，对输入条件、模型不足与系统故障之间的因果关系进行形式化建模？
• RQ2 在SOTIF中，哪些类型的证据足以令人信服地证明符合定量接受标准？
• RQ3 如何将不同类别的证据整合，形成经得起推敲的稳健、全面的安全论证？
• RQ4 在机器学习背景下，有效安全度量和方法的标准是什么，特别是当它们基于统计和概率推理时？
• RQ5 如何使安全保证流程适应机器学习的统计性和非确定性本质，尤其是在不可预测的环境中？

主要发现

• 所提出的因果模型能够实现从输入条件到安全结果的可追溯推理，显著提升安全论证的透明度和可辩护性。
• 将模型性能、数据质量、环境不确定性以及系统级行为四类证据相结合，相比孤立的度量指标，能显著增强安全论证的强度。
• 对因果关系的形式化有助于评估特定度量和方法在降低残余故障率方面的有效性。
• 当前的机器学习安全研究缺乏统一的证据整合框架，导致证据碎片化且常缺乏说服力。
• 关于残余故障率的统计论证对机器学习安全至关重要，但必须建立在对不足如何在系统中传播的因果理解之上。
• 安全与机器学习社区之间的协作与迭代方法，对于开发和验证有效、面向应用场景的安全方法与度量标准至关重要。