[논문 리뷰] Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention

Jinkyu Kim, John Canny|arXiv (Cornell University)|2017. 03. 30.

Explainable Artificial Intelligence (XAI)인용 수 48

한 줄 요약

이 논문은 제어 출력에 인과적으로 영향을 주지 않는 이미지 영역을 제거함으로써 주행 조향 출력에 영향을 미치는 인과적 필터링을 거친 시각적 주의 메커니즘을 제안한다. 이 방법은 제어 정확도를 유지하면서도 주의 지ap의 복잡성을 58–62% 감소시켜 해석 가능한 엔드 투 엔드 자율주행차 제어를 실현한다 (MAE ≤ 2.52°).

ABSTRACT

Deep neural perception and control networks are likely to be a key component of self-driving vehicles. These models need to be explainable - they should provide easy-to-interpret rationales for their behavior - so that passengers, insurance companies, law enforcement, developers etc., can understand what triggered a particular behavior. Here we explore the use of visual explanations. These explanations take the form of real-time highlighted regions of an image that causally influence the network's output (steering control). Our approach is two-stage. In the first stage, we use a visual attention model to train a convolution network end-to-end from images to steering angle. The attention model highlights image regions that potentially influence the network's output. Some of these are true influences, but some are spurious. We then apply a causal filtering step to determine which input regions actually influence the output. This produces more succinct visual explanations and more accurately exposes the network's behavior. We demonstrate the effectiveness of our model on three datasets totaling 16 hours of driving. We first show that training with attention does not degrade the performance of the end-to-end network. Then we show that the network causally cues on a variety of features that are used by humans while driving.

연구 동기 및 목표

• 실시간으로 인간이 이해할 수 있는 시각적 설명을 제공하는 해석 가능한 딥러닝 모델을 개발하여 엔드 투 엔드 자율주행차 제어를 위한 목표.
• 자율주행에서 신경망의 투명성 문제를 해결하기 위해 인과적 주의 시각화를 통해 주의 지ap 내의 비합리적인 상관관계에 대한 의존도를 줄이기 위한 목표.
• 비영향을 미치는 이미지 영역의 인과적 필터링을 통해 주의 설명의 단순화를 이루면서도 높은 제어 성능를 유지하기 위한 목표.
• 약 16시간 분량의 실차량 영상으로 구성된 세 개의 대규모 실생활 주행 데이터셋을 대상으로 방법의 유효성을 검증하기 위한 목표.

제안 방법

• 이중 단계 모델은 이미지 특징을 추출하기 위해 CNN 인코더를 사용한 후, 굵은 해상도의 디코더가 시각적 주의 히트맵을 생성한다.
• 주의 지ap을 '블롭' 단위로 군집화하여 네트워크 출력에 영향을 미치는 후보 주목 영역을 식별한다.
• 각 블롭을 개별적으로 마스킹하고 조향 출력에 미치는 영향을 측정함으로써 인과적 필터링을 적용하며, 인과적으로 영향을 미치는 블롭들만 유지된다.
• 스티어링 및 속도 신호의 노이즈를 줄이기 위해 단일 지수 평활화 방법을 사용하였으며, 최적의 αs = 0.05가 선택되었다.
• 주의 지점의 흐린 정도와 성능 간의 균형을 맞추기 위해 페널티 계수 λ를 적용하였으며, 검증에서 λ = 20이 최적의 균형을 이뤘다.
• 최종으로 정제된 주의 지점은 인과적으로 효과가 있는 주의 블롭들만 조합하여 생성되며, 이는 해석 가능성 향상과 과도한 혼잡함 감소에 기여한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 자율주행차 제어기의 해석 가능한 설명으로서의 주의 지점 지도가 제어 정확도를 떨어뜨리지 않고 기능할 수 있는가?
• RQ2 원시 주의 지점 지도에 얼마나 많은 비합리적 또는 비인과적 주목 신호가 포함되어 있으며, 이는 설명 해석을 오도하는가?
• RQ3 주의 블롭의 인과적 필터링이 설명 복잡성을 크게 줄이면서도 모델 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 인과적 필터링의 포함 여부가 인간이 주목하는 주행 특징(예: 차선 마킹, 차량 등)을 효과적으로 인식하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 주의 메커니즘을 통합하더라도 제어 정확도가 떨어지지 않음: Comma.ai 테스트 세트에서 평균 절대 오차(MAE)는 2.44°를 기록하여 기준 모델과 유사한 성능을 확보함.
• 인과적 필터링을 통해 주의 블롭의 58–62%가 비인과적 요인으로 제거되어 설명의 단순화가 크게 이루어졌으며, 성능 저하 없이도 가능함.
• 모델은 인간의 주행 행동과 일치하는 인간이 주목할 만한 특징(예: 차선 마킹, 도로 가장자리, 앞서는 차량 등)을 성공적으로 강조함.
• 최적의 평활화 계수 αs = 0.05는 다양한 데이터셋에서 MAE를 최소화하며, 센서 노이즈와 인간의 변동성에 대한 강건성을 향상시킴.
• λ = 20일 경우, 주의 지점의 흐린 정도와 제어 정확도 사이의 최적 균형을 확보하였으며, HCE 및 Udacity 데이터셋에서 특히 뛰어난 성능 기록.
• 정제된 주의 지점 지도는 원시 주의 지도보다 더 정확하고 혼잡함이 적은 것으로 확인되었으며, 비합리적인 주의 원천이 제거된 정성적 비교 결과에서 이를 입증함.