[논문 리뷰] Explainability of deep vision-based autonomous driving systems: Review and challenges

Éloi Zablocki, Hedi Ben-younes외 2명|arXiv (Cornell University)|2021. 01. 13.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 종합 검토는 딥 뷰이션 기반 자율주행 시스템을 위한 설명 가능성 방법을 검토하며, 사후 설명과 본질적으로 해석 가능한 모델에 초점을 맞춘다. 고차원 시각 입력에 표준 XAI 기법을 적용할 때 발생하는 주요 과제를 밝히고, 신뢰성, 강건성, 그리고 설명 가능성 향상을 위해 인과 모델링과 더 나은 평가 프레임워크의 필요성을 제기한다. 안전이 중요한 주행 시스템에서의 응용을 위해 필수적이다.

ABSTRACT

This survey reviews explainability methods for vision-based self-driving systems trained with behavior cloning. The concept of explainability has several facets and the need for explainability is strong in driving, a safety-critical application. Gathering contributions from several research fields, namely computer vision, deep learning, autonomous driving, explainable AI (X-AI), this survey tackles several points. First, it discusses definitions, context, and motivation for gaining more interpretability and explainability from self-driving systems, as well as the challenges that are specific to this application. Second, methods providing explanations to a black-box self-driving system in a post-hoc fashion are comprehensively organized and detailed. Third, approaches from the literature that aim at building more interpretable self-driving systems by design are presented and discussed in detail. Finally, remaining open-challenges and potential future research directions are identified and examined.

연구 동기 및 목표

• 안전이 중요한 응용 분야로서 사회적·기술적 영향력이 큰 자율주행 시스템에서 설명 가능성의 필요성을 분석하기 위해.
• 시각 기반 주행 시스템의 딥 러닝 모델에 대해 사후 및 본질적으로 해석 가능한 설명 방법을 체계적으로 분류하고 평가하기 위해.
• 영상 및 3차원 포인트 클라우드와 같은 고차원 시각 입력에 기존 XAI 기법을 적용할 때 발생하는 주요 과제를 규명하기 위해.
• 현재 자율주행 시스템의 설명 방법에서 인과적 추론과 표준화된 평가의 부족을 부각하기 위해.
• 향후 연구 방향으로 인과 모델링, 불확실성 인식 설명, 의미론적 입력 공간 설계를 제안하기 위해.

제안 방법

• 설명 가능성 방법을 사후(예: 시각화 지도, 반대 조건) 및 본질적(예: 어텐션 메커니즘, 희소 모델) 접근 방식으로 분류한다.
• Grad-CAM, GradCAM++, LIME 등의 사후 기법을 검토하여 모델 결정에 영향을 미치는 입력 특징을 시각화한다.
• 반대 조건 설명 방법을 분석하고 고차원 영상 데이터에 적용했을 때의 한계를 강조한다.
• 모델 번역 및 국소 근사 기법을 논의하며, 고차원성으로 인해 영상 입력 공간에 대해 실용적이지 않음을 지적한다.
• 효율적인 국소 설명을 가능하게 하기 위해 더 풍부하고 의미론적으로 유의미한 입력 공간과 제어 가능한 데이터 다양체가 필요하다는 점을 제안한다.
• 설명이 실제 결론의 원인을 반영하도록 보장하기 위해 인과 추론(예: do-계산법, 구조적 인과 모델)을 통합할 것을 주장한다.

실험 결과

연구 질문

• RQ1 시각 기반 자율주행 시스템에서 설명 가능성의 주요 동기와 과제는 무엇인가?
• RQ2 사후 설명 방법(예: 시각화 지도, 반대 조건)이 영상 및 3차원 포인트 클라우드와 같은 고차원 시각 입력에 적용되었을 때의 성능은 어떠한가?
• RQ3 표준 XAI 기법이 자율주행에 일반화되지 못하는 이유는 무엇이며, 입력 공간 표현에서의 核심적 한계는 무엇인가?
• RQ4 인과 모델링이 주행 정책에서 설명의 충실도와 강건성을 얼마나 향상시킬 수 있는가?
• RQ5 특히 충실도, 완전성, 인간 해석 가능성 측면에서 설명 평가의 열린 과제는 무엇인가?

주요 결과

• 안전이 중요한 응용 분야로서 자율주행에서 설명 가능성은 사고 예방, 신뢰 구축, 모든 주행 시나리오를 완전히 테스트할 수 없기 때문에 필수적이다.
• Grad-CAM 및 LIME과 같은 사후 기법은 널리 사용되지만, 고차원성과 의미론적 제어 부족으로 인해 영상 입력에 대해 의미 있는 설명을 생성하기 어려운 경우가 많다.
• 저차원 데이터에 대해 존재하는 XAI 기법의 다수와는 달리, 영상 및 3차원 포인트 클라우드와 같은 시각적 주행 입력에 대한 적용은 제한적이다.
• 반대 조건 설명은 고차원 시각 데이터에 거의 적용되지 않으며, 단순한 변형은 종종 의미 없거나 오해의 소지가 있는 결과를 낳는다.
• 현재의 평가 관행, 특히 인간 기반 평가가 신뢰할 수 없고 스케일링이 어렵기 때문에, 설득력은 있지만 충실도가 떨어지는 설명이 발생할 위험이 있다.
• 인과 모델링은 자율주행 시스템에서 아직 충분히 활용되지 않았지만, 설명이 진정한 원인을 반영하고 분포 이동 상황에서도 강건성을 확보할 수 있다는 잠재력을 지닌다.