[논문 리뷰] Explainability of vision-based autonomous driving systems: Review and challenges.

Éloi Zablocki, Hedi Ben-younes외 2명|arXiv (Cornell University)|2021. 01. 13.

Explainable Artificial Intelligence (XAI)참고 문헌 202인용 수 30

한 줄 요약

이 종합 검토는 시각 기반 자율 주행 시스템을 위한 설명 가능성 방법에 대해 포괄적인 검토를 제공하며, 사후 설명 기법과 내재된 해석 가능성 설계를 모두 포함한다. 이는 자율 주행 시스템을 더 투명하고 신뢰할 수 있도록 만들기 위한 핵심 과제들과 향후 연구 방향을 규명한다.

ABSTRACT

This survey reviews explainability methods for vision-based self-driving systems. The concept of explainability has several facets and the need for explainability is strong in driving, a safety-critical application. Gathering contributions from several research fields, namely computer vision, deep learning, autonomous driving, explainable AI (X-AI), this survey tackles several points. First, it discusses definitions, context, and motivation for gaining more interpretability and explainability from self-driving systems. Second, major recent state-of-the-art approaches to develop self-driving systems are quickly presented. Third, methods providing explanations to a black-box self-driving system in a post-hoc fashion are comprehensively organized and detailed. Fourth, approaches from the literature that aim at building more interpretable self-driving systems by design are presented and discussed in detail. Finally, remaining open-challenges and potential future research directions are identified and examined.

연구 동기 및 목표

• 시각 기반 자율 주행 시스템, 즉 안전이 중요한 환경에서의 의사결정에 있어 설명 가능성과 투명성의 필수적인 필요성을 해결하기 위해.
• 블랙박스 자율 주행 시스템을 사후적으로 설명하기 위한 최신 기법들을 통합하고 분류하기 위해.
• 초기 단계부터 투명성을 향상시키는 내재된 해석 가능성 설계를 검토하기 위해.
• 신뢰할 수 있는 설명 가능성 확보를 위한 열린 과제들을 규명하고 자율 주행을 위한 설명 가능성 AI의 향후 연구 방향을 안내하기 위해.

제안 방법

• 자율 주행 시스템에서 설명 가능성의 정의, 맥락, 동기를 체계적으로 검토한다.
• 최근의 최신 기술 기반 시각 기반 자율 주행 아키텍처를 분류하고 분석한다.
• 사전 지식이 없는 설명 기법들인 시각화 지도, 주의 메커니즘 시각화, 반대로 가정된 설명 등을 정리하고 상세히 기술한다.
• 주의 메커니즘, 모듈러 신경망, 기호적 추론을 포함한 내재된 해석 가능성 접근 방식을 검토한다.
• 컴퓨터 비전, 딥 러닝, XAI 분야의 통합적 통찰을 바탕으로 방법론적 상충 요소를 평가한다.
• 기존 문헌의 철저한 분석을 통해 격차와 향후 연구 방향을 규명한다.

실험 결과

연구 질문

• RQ1 시각 기반 자율 주행 시스템에서 설명 가능성의 핵심 동기와 맥락적 요인은 무엇인가?
• RQ2 Grad-CAM 및 GradCAM++과 같은 사후 설명 기법들이 자율 주행 시스템의 블랙박스 모델에 대한 이해를 어떻게 향상시키는가?
• RQ3 내재된 해석 가능성 설계를 가능하게 하는 설계 원칙은 무엇이며, 이는 사후 기법과 비교해 어떻게 다를 수 있는가?
• RQ4 자율 주행 시스템에서 신뢰할 수 있고 실용적인 설명을 제공하기 위한 주요 열린 과제는 무엇인가?
• RQ5 안전이 중요한 주행 응용 분야에서 설명 가능성 AI를 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 의사결정 과정에서 높은 안전성과 사회적 영향을 고려할 때 자율 주행에서 설명 가능성은 필수적이다.
• Grad-CAM 및 GradCAM++과 같은 사후 설명 기법들이 입력 이미지의 관련 시각적 특징을 강조하는 데 널리 사용된다.
• 주의 기반 및 모듈러 아키텍처를 포함한 내재된 해석 가능성 모델들은 투명성을 향상시키지만, 성능 저하 또는 복잡성 증가의 대가를 치르는 경우가 많다.
• 자율 주행 시스템에서 설명 품질을 평가하기 위한 표준화된 평가 프로토콜이 아직 부족하다.
• 현재 기법들은 다양한 주행 환경에서 충실도가 높고 견고하며 인간이 이해할 수 있는 설명을 제공하는 데 어려움을 겪고 있다.
• 향후 연구는 사용자 중심의 설명 설계, 평가 기준, 설명 가능성 AI에 인과적 추론 통합을 우선순위로 삼아야 한다.