[논문 리뷰] Towards Safe, Explainable, and Regulated Autonomous Driving

Shahin Atakishiyev, Mohammad Salameh외 2명|arXiv (Cornell University)|2021. 11. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 설명 가능 AI(XAI)와 강화 학습을 통해 안전하고 설명 가능하며 규제 기준을 충족하는 자율주행을 통합하는 유일한 프레임워크를 제안한다. 실시간 결정 투명성을 위한 계층적 질문-답변 접근 방식을 도입하였으며, 사고 후 사례 연구를 통해 검증되어 자율주행 시스템의 시스템 디버깅 용이성 향상, 책임 소재 명확화, 규제 준수성 향상 등의 효과를 입증하였다.

ABSTRACT

There has been recent and growing interest in the development and deployment of autonomous vehicles, encouraged by the empirical successes of powerful artificial intelligence techniques (AI), especially in the applications of deep learning and reinforcement learning. However, as demonstrated by recent traffic accidents, autonomous driving technology is not fully reliable for safe deployment. As AI is the main technology behind the intelligent navigation systems of self-driving vehicles, both the stakeholders and transportation regulators require their AI-driven software architecture to be safe, explainable, and regulatory compliant. In this paper, we propose a design framework that integrates autonomous control, explainable AI (XAI), and regulatory compliance to address this issue, and then provide an initial validation of the framework with a critical analysis in a case study. Moreover, we describe relevant XAI approaches that can help achieve the goals of the framework.

연구 동기 및 목표

• 최근 발생한 주요 사고들로 인해 증가하는 공적 및 규제 기관의 자율주행 차량의 안전성과 신뢰성에 대한 우려를 해결하기 위해.
• 자율주행 제어, 설명 가능 AI(XAI), 규제 준수를 통합한 설계 프레임워크를 개발하여 신뢰도 및 책임성 향상에 기여하기 위해.
• 내재적 및 사후 설명 기법을 통해 자율주행 차량에서 실시간 결정을 투명하게 설명할 수 있도록 하기 위해.
• 비상 주행 상황에서 AI 결정과 인간이 이해할 수 있는 추론 간의 의미적 격차를 해소하기 위해.
• 체계적이고 감사 가능한 결정 근거를 제공하여 사고 후 책임 소재 규명 및 규제 감사 지원을 위해.

제안 방법

• 자율주행 제어, XAI, 규제 준수를 하나의 아키텍처 안에서 통합하는 일반적인 설계 프레임워크를 제안한다.
• 차량 결정에 대한 실시간, 맥락 기반 설명을 생성하기 위해 시각적 질문-답변(VQA) 기법을 활용한다.
• 시간에 따른 의사결정을 모델링하고 시간에 따라 계층적 질문을 생성하기 위해 강화 학습의 옵션-크리틱 아키텍처를 활용한다.
• 보상 최적화와 안전 제약 조건의 균형을 고려한 위험 인식 의사결정 메커니즘을 도입한다.
• 내재적 및 사후 설명 기법을 적용하여 정상 및 장애 상황 모두에서 투명성 향상을 도모한다.
• 사고 후 분석 사례 연구를 통해 프레임워크를 검증하였으며, 핵심 주행 결정에 대한 설명 생성 능력을 입증하였다.

Figure 1: A graphical illustration of an autonomous car on its perception-action mapping that is safe, explainable, and regulatory compliant. Safe because the vehicle drives under traffic rules and does not hit people and touch other objects. Explainable because the vehicle provides a rationale for

실험 결과

연구 질문

• RQ1 어떻게 하면 자율주행 시스템을 동시에 안전성, 설명 가능성, 규제 준수성을 확보할 수 있는가?
• RQ2 설명 가능 AI(XAI)는 실시간 자율주행 차량 의사결정의 투명성과 신뢰도 향상에 어떤 역할을 할 수 있는가?
• RQ3 계층적이고 시간에 따라 변화하는 질문-답변 시스템은 동적인 교통 환경에서 차량 행동의 해석 가능성 향상에 어떻게 기여할 수 있는가?
• RQ4 옵션을 활용한 강화 학습은 순차적 주행 결정의 설명 가능성 향상에 어떻게 기여할 수 있는가?
• RQ5 이 프레임워크는 자율주행 차량 사고 이후 책임 소재 규명 및 규제 감사 지원에 어떻게 기여할 수 있는가?

주요 결과

• 제안된 프레임워크는 자율주행 분야에서 다면적 이점을 제공하며, 시스템 디버깅 용이성 향상, 책임 소재 명확화, 규제 준수성 향상 등의 효과를 보였다.
• 내재적 및 사후 설명 기법의 통합은 실시간 투명성뿐 아니라 사고 후 분석 및 시스템 개선에도 기여한다.
• 모델 기반 강화 학습과 결합된 시각적 질문-답변(VQA)은 차량 행동에 대한 맥락에 맞는 감사 가능한 근거를 생성할 수 있다.
• 강화 학습에서 옵션을 활용하면 시간적으로 일관성 있고 계층적인 질문을 생성할 수 있어 장기적 의사결정 설명에 기여한다.
• 순수한 보상 최적화가 아닌 위험 인식 의사결정은 복잡한 주행 환경에서 더 견고하고 안전한 정책 학습을 이끌어낸다.
• 이 프레임워크는 특히 고위험 교통 상황에서 AI 결정과 인간이 이해할 수 있는 추론 간의 의미적 격차를 줄이는 데 잠재력을 보였다.

Figure 2: A graphical description of the proposed XAI framework for autonomous driving.