[论文解读] Certification of embedded systems based on Machine Learning: A survey

Guillaume Vidot, Christophe Gabreau+2 more|arXiv (Cornell University)|Jun 14, 2021

Adversarial Robustness in Machine Learning参考文献 63被引用 10

一句话总结

本综述研究了在民用航空电子系统中对基于机器学习（ML）的嵌入式系统进行认证所面临的挑战，重点关注鲁棒性和可解释性作为实现监管合规的关键使能因素。它评估了最先进的技术——特别是对抗性鲁棒性以及SHAP和DeepLIFT等特征重要性方法——以应对ML模型的黑箱特性和不可预测性，提出通过形式化验证和可解释性作为实现安全关键环境中可认证ML系统的路径。

ABSTRACT

Advances in machine learning (ML) open the way to innovating functions in the avionic domain, such as navigation/surveillance assistance (e.g. vision-based navigation, obstacle sensing, virtual sensing), speechto-text applications, autonomous flight, predictive maintenance or cockpit assistance. Current certification standards and practices, which were defined and refined decades over decades with classical programming in mind, do not however support this new development paradigm. This article provides an overview of the main challenges raised by the use ML in the demonstration of compliance with regulation requirements, and a survey of literature relevant to these challenges, with particular focus on the issues of robustness and explainability of ML results.

研究动机与目标

• 解决在安全关键型航空电子系统中认证基于机器学习（ML）的软件日益增长的需求，因为传统的需求驱动和模型驱动工程范式已无法满足要求。
• 识别由机器学习引入的关键认证挑战，包括由于数据驱动模型行为导致的可规范性、可追溯性和鲁棒性不足。
• 评估现有关于对抗性鲁棒性和可解释性的研究，以确定其在支持符合航空认证标准（如DO-178C）方面的可行性。
• 聚焦于离线监督学习以限制研究范围，同时仍解决与基于视觉的导航和预测性维护等实际航空电子功能相关的核心挑战。
• 通过识别当前方法中的差距，并倡导将形式化验证和可解释人工智能作为可认证ML系统的基本组成部分，为未来研究奠定基础。

提出的方法

• 调查了安全关键系统中机器学习认证的文献，重点在于航空电子标准（DO-178C、DO-254）和监管合规性。
• 对对抗性鲁棒性技术进行了分类与分析，包括对抗性训练和形式化验证方法，以数学方式证明模型在扰动下的行为。
• 回顾了全局解释技术，如基于合作博弈论的SHAP（SHapley Additive exPlanations），用于为模型预测分配特征重要性。
• 评估了DNN特定的方法（如DeepLIFT），通过反向传播比较输入激活与基线参考值来计算特征贡献。
• 探索了因果建模方法（如npsem）和部分依赖图，以可视化输入趋势如何影响模型输出，从而增强模型透明度。
• 聚焦于模型无关和深度神经网络（DNN）特定的可解释性方法，以支持在认证背景下的可信度和可审计性。

实验结果

研究问题

• RQ1 机器学习的内在特性（如数据驱动行为和缺乏可追溯性）如何挑战航空电子系统中传统认证流程？
• RQ2 对抗性鲁棒性技术在现实飞行环境中常见的输入扰动下，能在多大程度上确保基于机器学习系统的安全性和可靠性？
• RQ3 像SHAP和DeepLIFT这样的可解释性方法能否提供足够的透明度，以支持监管机构对DO-178C中可验证性和可审计性要求的信任与合规？
• RQ4 形式化验证在替代或补充安全关键系统中ML组件的实证测试方面，能发挥什么作用？
• RQ5 当前的可解释性和鲁棒性技术是否已成熟到足以集成到民用航空嵌入式ML系统工业认证工作流中？

主要发现

• 对抗性鲁棒性技术（包括对抗性训练和形式化验证）在确保模型在输入扰动下的可靠性方面展现出强大潜力，直接应对安全关键性关切。
• SHAP等模型无关的可解释性方法通过利用Shapley值，提供公平且一致的特征重要性评分，从而有助于更好地理解模型决策。
• DeepLIFT通过测量从基线出发的激活差异，为DNN提供特定于网络的特征归因方法，从而实现对预测结果的可解释且一致的解释。
• 结合部分依赖图的因果建模方法（如npsem）能够可视化输入-输出趋势，提供超越简单特征影响的更深层次模型行为洞察。
• 形式化验证方法在认证方面尤其有前景，因为其能提供正确性的数学证明，从而减少对昂贵且不完整的实证测试的依赖。
• 尽管已取得进展，但在将可解释性和鲁棒性技术扩展到航空电子系统中使用的工业规模ML模型方面仍存在挑战，尤其是在实时、安全关键的部署环境中。