[论文解读] An Analysis of ISO 26262: Using Machine Learning Safely in Automotive Software

Rick Salay, Rodrigo Queiroz+1 more|arXiv (Cornell University)|Sep 7, 2017

Adversarial Robustness in Machine Learning参考文献 20被引用 106

一句话总结

本文分析基于 ML 的软件如何影响 ISO 26262，并提出将标准调整以适用于汽车系统中的安全 ML 的建议。

ABSTRACT

Machine learning (ML) plays an ever-increasing role in advanced automotive functionality for driver assistance and autonomous operation; however, its adequacy from the perspective of safety certification remains controversial. In this paper, we analyze the impacts that the use of ML as an implementation approach has on ISO 26262 safety lifecycle and ask what could be done to address them. We then provide a set of recommendations on how to adapt the standard to accommodate ML.

研究动机与目标

• 识别基于 ML 的软件在危害分析和软件开发阶段对 ISO 26262 的影响。
• 突出 ML 特有的挑战，如不透明性、错误率、训练数据和稳定性。
• 提出将 ISO 26262 调整以容纳 ML 技术的具体建议。
• 讨论对危害识别、故障分析、训练数据要求以及软件技术的影响。

提出的方法

• 就 ML 组件对 ISO 26262 第3部分和第6部分在 ML 组件方面进行审查与分析。
• 描述影响安全评估的 ML 特性（不透明性、错误率、基于训练的开发、不稳定性）。
• 将 ML 的影响映射到 ISO 26262 的流程，并确定五个影响领域。
• 提出针对危害识别、故障分析、训练数据、ML 使用范围和软件技术的有针对性建议。

实验结果

研究问题

• RQ1 有哪些 ML 特有的危害和安全隐患尚未被 ISO 26262 完全覆盖？
• RQ2 在 ISO 26262 框架下，ML 的使用如何影响危害分析和软件开发生命周期？
• RQ3 为在汽车软件中安全容纳 ML 而对标准的哪些适应性修改被推荐？
• RQ4 在使用 ML 时，训练数据、故障检测与体系结构决策有哪些影响？

主要发现

• ML 可能产生新的危害，源于人机交互和复杂行为互动，而不仅仅是故障。
• ML 组件具有与传统软件不同的故障类型和失效模式，需要 ML 特定的故障检测工具。
• 训练数据和 ML 生命周期违反 V 模型中对完全指定行为的假设，需基于功能性而制定不同的安全要求。
• 端到端的 ML 方法挑战 ISO 26262 关于模块化分层结构的假设，在当前指南下可能不适用。
• 第6部分的许多单元级技术仍然适用于 ML，但相当大比例并不直接适用或需要改编。
• 标准偏向指令式编程语言为 ML 组件带来空白，建议向基于技术意图的要求转变。