[論文レビュー] Towards Safe, Explainable, and Regulated Autonomous Driving

Shahin Atakishiyev, Mohammad Salameh+2 more|arXiv (Cornell University)|Nov 20, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、説明可能なAI（XAI）と強化学習を用いて、安全で説明可能かつ規制準拠の自動運転を統合するフレームワークを提案する。リアルタイム意思決定の透明性を実現する階層的で質問・回答型のアプローチを導入し、事故後事例研究を通じて検証された。これにより、自動車システムにおけるデバッグ性の向上、責任の明確化、規制適合性の向上が実証された。

ABSTRACT

There has been recent and growing interest in the development and deployment of autonomous vehicles, encouraged by the empirical successes of powerful artificial intelligence techniques (AI), especially in the applications of deep learning and reinforcement learning. However, as demonstrated by recent traffic accidents, autonomous driving technology is not fully reliable for safe deployment. As AI is the main technology behind the intelligent navigation systems of self-driving vehicles, both the stakeholders and transportation regulators require their AI-driven software architecture to be safe, explainable, and regulatory compliant. In this paper, we propose a design framework that integrates autonomous control, explainable AI (XAI), and regulatory compliance to address this issue, and then provide an initial validation of the framework with a critical analysis in a case study. Moreover, we describe relevant XAI approaches that can help achieve the goals of the framework.

研究の動機と目的

• 高名な事故が相次いだことを受けて、一般および規制当局が自動運転車の安全性と信頼性について懸念を抱くようになっているのを是正すること。
• 自動運転制御、説明可能なAI（XAI）、規制適合性を統合した設計フレームワークを構築し、信頼性と責任の明確化を向上させること。
• 内在的および事後的説明を用いて、自動運転車におけるリアルタイム意思決定の正当化を可能にすること。
• 危険な走行状況におけるAI意思決定と人間が理解可能な推論の間の意味的ギャップを埋めること。
• 構造的で監査可能な意思決定根拠を提供することで、事故後の責任特定と規制監査を支援すること。

提案手法

• 自動運転制御、XAI、規制適合性を統合した単一のアーキテクチャ内で統合する一般化された設計フレームワークを提案する。
• 視覚的質問応答（VQA）を用いて、車両の意思決定に対してリアルタイムで文脈に即した説明を生成する。
• 強化学習におけるオプション・クリティックアーキテクチャを用いて、時間的決定行動をモデル化し、時間経過に伴う階層的質問を生成する。
• 報酬最大化と安全制約の両立を図るリスク認識意思決定メカニズムを導入する。
• 内在的および事後的説明技術を適用し、通常時および故障時における透明性を向上させる。
• 事故後分析の事例研究を通じてフレームワークを検証し、重要な走行意思決定の説明生成を実証する。

Figure 1: A graphical illustration of an autonomous car on its perception-action mapping that is safe, explainable, and regulatory compliant. Safe because the vehicle drives under traffic rules and does not hit people and touch other objects. Explainable because the vehicle provides a rationale for

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、自動運転車において安全、説明可能、規制準拠を同時に実現できるか？
• RQ2 説明可能なAI（XAI）は、リアルタイムの自動運転車意思決定における透明性と信頼性をどのように向上させられるか？
• RQ3 階層的で時間的質問・回答システムは、動的交通環境における車両行動の解釈可能性をどのように向上させられるか？
• RQ4 オプションを用いた強化学習は、逐次的走行意思決定の説明可能性をどのように向上させられるか？
• RQ5 このフレームワークは、自動運転車事故後の責任特定と規制監査をどのように支援できるか？

主な発見

• 提案されたフレームワークは、自動運転車において、デバッグ性の向上、責任の明確化、規制適合性の向上といった多面的利点をもたらす。
• 内在的および事後的説明の統合により、リアルタイムの透明性に加え、事故後分析とシステム改善の両方が可能になる。
• 視覚的質問応答（VQA）とモデルベースの強化学習を組み合わせることで、車両行動の文脈的関連性があり、監査可能な根拠を生成できる。
• 強化学習におけるオプションの使用により、時間的に整合性があり、階層的な質問が生成され、長期的意志決定の説明を支援できる。
• 純粋な報酬最大化ではなく、リスク認識意思決定を採用することで、複雑な走行環境におけるより強固で安全な方策学習が可能になる。
• このフレームワークは、特に高リスクの交通状況において、AI意思決定と人間が理解可能な推論の間の意味的ギャップを縮小する可能性を示している。

Figure 2: A graphical description of the proposed XAI framework for autonomous driving.