[论文解读] Towards Safe, Explainable, and Regulated Autonomous Driving

Shahin Atakishiyev, Mohammad Salameh+2 more|arXiv (Cornell University)|Nov 20, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一套统一框架，通过可解释人工智能（XAI）与强化学习，实现安全、可解释且符合监管要求的自动驾驶。该框架引入了一种分层的问答机制，以实现实时决策透明化，通过一起事故后的案例研究得到验证，展示了在自动驾驶系统中提升系统可调试性、责任归属清晰度以及监管合规性的能力。

ABSTRACT

There has been recent and growing interest in the development and deployment of autonomous vehicles, encouraged by the empirical successes of powerful artificial intelligence techniques (AI), especially in the applications of deep learning and reinforcement learning. However, as demonstrated by recent traffic accidents, autonomous driving technology is not fully reliable for safe deployment. As AI is the main technology behind the intelligent navigation systems of self-driving vehicles, both the stakeholders and transportation regulators require their AI-driven software architecture to be safe, explainable, and regulatory compliant. In this paper, we propose a design framework that integrates autonomous control, explainable AI (XAI), and regulatory compliance to address this issue, and then provide an initial validation of the framework with a critical analysis in a case study. Moreover, we describe relevant XAI approaches that can help achieve the goals of the framework.

研究动机与目标

• 解决高调事故后公众与监管机构对自动驾驶车辆安全性与可靠性的日益关注。
• 开发一种整合自动驾驶控制、可解释人工智能（XAI）与监管合规性的设计框架，以提升信任度与问责性。
• 通过内在与事后解释，实现在自动驾驶车辆中透明的实时决策解释。
• 弥合人工智能决策与人类可理解推理之间的语义鸿沟，特别是在关键驾驶场景中。
• 通过结构化、可审计的决策推理，支持监管合规与责任认定。

提出的方法

• 提出一种通用设计框架，将自动驾驶控制、XAI与监管合规统一于单一架构中。
• 采用视觉问答（VQA）技术，为车辆决策生成实时、上下文感知的解释。
• 在强化学习中采用选项-批评家（option-critic）架构，以建模时间上的决策过程，并随时间生成分层问题。
• 引入一种风险感知的决策机制，平衡奖励最大化与安全约束。
• 应用内在与事后解释技术，提升正常与故障场景下的透明度。
• 通过一起事故后分析的案例研究验证该框架，展示对关键驾驶决策的解释生成能力。

Figure 1: A graphical illustration of an autonomous car on its perception-action mapping that is safe, explainable, and regulatory compliant. Safe because the vehicle drives under traffic rules and does not hit people and touch other objects. Explainable because the vehicle provides a rationale for

实验结果

研究问题

• RQ1 如何设计自动驾驶系统，以同时确保安全性、可解释性与监管合规性？
• RQ2 可解释人工智能（XAI）在提升实时自动驾驶决策透明度与可信度方面可发挥何种作用？
• RQ3 分层的、时间序列的问答系统如何增强动态交通环境中车辆行为的可解释性？
• RQ4 在具有选项的强化学习中，如何提升序列驾驶决策的可解释性？
• RQ5 该框架如何在自动驾驶车辆事故后支持责任认定与监管审计？

主要发现

• 所提出的框架在自动驾驶中实现了多方面优势，包括提升系统可调试性、责任归属清晰度与监管一致性。
• 内在与事后解释的整合不仅支持实时透明度，还支持事故后分析与系统优化。
• 视觉问答（VQA）与基于模型的强化学习结合，可为车辆行为生成语境相关、可审计的推理依据。
• 在强化学习中使用选项可生成时间上连贯、分层的问题，支持长期决策解释。
• 与单纯奖励最大化相比，风险感知决策机制能带来更稳健、更安全的策略学习，尤其在复杂驾驶环境中。
• 该框架在减少人工智能决策与人类可理解推理之间的语义鸿沟方面展现出潜力，特别是在高风险交通场景中。

Figure 2: A graphical description of the proposed XAI framework for autonomous driving.