[论文解读] Architecting Dependable Learning-enabled Autonomous Systems: A Survey

Chih‐Hong Cheng, Dhiraj Gulati+1 more|arXiv (Cornell University)|Feb 27, 2019

Adversarial Robustness in Machine Learning参考文献 62被引用 4

一句话总结

本综述提出了一套系统化的架构框架，用于构建可信赖的学习型自主系统，重点关注自动驾驶领域。该框架整合了多样化的冗余、信息融合、运行时监控以及可信赖机器学习技术（如不确定性估计、可解释CNN和鲁棒优化），以提升系统可靠性，其主要贡献在于对现有方法进行分类，并识别出在验证、自适应融合和可解释监控方面的重要研究挑战。

ABSTRACT

We provide a summary over architectural approaches that can be used to construct dependable learning-enabled autonomous systems, with a focus on automated driving. We consider three technology pillars for architecting dependable autonomy, namely diverse redundancy, information fusion, and runtime monitoring. For learning-enabled components, we additionally summarize recent architectural approaches to increase the dependability beyond standard convolutional neural networks. We conclude the study with a list of promising research directions addressing the challenges of existing approaches.

研究动机与目标

• 应对学习型自主系统中可信赖架构的迫切需求，特别是在发生高调的自动驾驶车辆事故之后。
• 系统性地对自动驾驶中的可信赖性架构方法进行分类，重点关注四大支柱：多样化冗余、信息融合、运行时监控和可信赖机器学习。
• 弥合现有可信赖技术与将其整合为自主系统统一参考架构之间的差距。
• 突出验证、融合保真度和监控可解释性方面的挑战，以指导未来研究。
• 为研究人员和从业者提供一个结构化的基础，以构建更安全、更可靠的自动驾驶系统。

提出的方法

• 将架构方法划分为四大关键支柱：多样化冗余、信息融合、运行时监控和可信赖机器学习。
• 通过部署不同算法（例如，立体视觉与LiDAR、基于规则与基于机器学习的预测）来实现多样化冗余，以避免共模故障。
• 应用信息融合技术（如卡尔曼滤波和自适应融合）利用异构传感器的数据，以提高决策的准确性和鲁棒性。
• 实施运行时监控，通过测量模型输出与训练数据分布的偏离程度或使用基于规范的检查，来检测机器学习组件中的异常。
• 集成可信赖机器学习技术，包括使用蒙特卡洛丢弃进行不确定性估计、通过局部化和类别特定神经元激活实现可解释的CNN，以及通过对抗训练实现可证明鲁棒的神经网络。
• 从监控器向融合过程引入反馈回路，以实现在不确定性条件下的自适应、弹性决策。

实验结果

研究问题

• RQ1 如何系统化地设计多样化冗余，以防止自动驾驶系统中不同算法实现之间的共模故障？
• RQ2 当前信息融合技术在非高斯噪声和模型不准确情况下的局限性是什么？如何使融合能够适应传感器故障？
• RQ3 如何设计运行时监控机制，以高效检测机器学习组件中的已知和未知异常，同时保持高检测率和低计算开销？
• RQ4 基于故障发生频率、影响程度和可控性，应采用何种标准来指导运行时监控规范的优先级排序？
• RQ5 如何将运行时监控扩展为运行时强制机制，以实现实时主动纠正或防止不安全行为？

主要发现

• 多样化冗余通过为感知、预测和规划任务使用不同算法（如立体视觉、LiDAR、基于规则或基于机器学习的方法）显著提升了系统的韧性，降低了共模故障风险。
• 信息融合技术（如卡尔曼滤波和自适应融合）可提高决策准确性，但在非高斯噪声或刚性融合架构下性能会下降，因此需要运行时监控提供反馈。
• 蒙特卡洛丢弃为深度神经网络中的不确定性估计提供了一种实用方法，当100个丢弃网络中有10%（即10个）的预测偏离时，可实现90%的置信度估计。
• 可解释CNN通过确保神经元仅对特定目标类别和空间位置激活，增强了模型的透明度，从而支持构建人类可读的决策树。
• 通过对抗优化训练的可证明鲁棒神经网络在训练数据邻域内保持一致行为，提高了对输入扰动的鲁棒性。
• 通过引入可解释规则（如“物体不能不切实际地大”）以及使用基于机器学习的技术检测未知未知异常，可进一步增强运行时监控，但该方向仍是开放挑战。