[논문 리뷰] Predicting Model Failure using Saliency Maps in Autonomous Driving Systems

Sina Mohseni, Akshay V. Jagadeesh외 1명|arXiv (Cornell University)|2019. 05. 19.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 15

한 줄 요약

이 논문은 자율주행 시스템에서 PilotNet의 조향 휠 각도 예측 오차를 추정하는 색채도 맵 기반 실패 예측 모델을 제안한다. 주 모델의 색채도 맵을 기반으로 학습하는 학생 모델을 통해, 원본 이미지보다 더 높은 정확도를 달성하며 특히 고각도 회전 상황에서 안전성 향상 효과를 보인다.

ABSTRACT

While machine learning systems show high success rate in many complex tasks, research shows they can also fail in very unexpected situations. Rise of machine learning products in safety-critical industries cause an increase in attention in evaluating model robustness and estimating failure probability in machine learning systems. In this work, we propose a design to train a student model -- a failure predictor -- to predict the main model's error for input instances based on their saliency map. We implement and review the preliminary results of our failure predictor model on an autonomous vehicle steering control system as an example of safety-critical applications.

연구 동기 및 목표

• 안전이 중요한 기계 학습 시스템, 특히 자율주행 차량에서의 실패 예측에 대한 핵심적인 필요성을 해결하기 위해.
• 배포 이전에 모델 실패 확률을 추정하여 모델의 강건성과 신뢰성을 향상시키기 위해.
• 색채도 맵을 입력 특징으로 사용하는 화이트박스, 해석 가능성 기반의 실패 예측 방법을 개발하기 위해.
• 색채도 맵과 원본 이미지 간의 성능 비교를 통해 모델 오차 예측 및 주행 안전성 향상 효과를 평가하기 위해.
• 자율주행 시스템이 실패할 가능성이 높을 때 인간 운전사에게 경고하는 실패 방지 메커니즘을 제공하기 위해.

제안 방법

• 사전 학습된 PilotNet 모델에서 지식 정복을 통해 학생 실패 예측 모델을 학습시킨다.
• VisualBackProp 기법을 사용해 PilotNet 및 도로 환경 입력에 특화된 색채도 맵을 생성한다.
• 색채도 맵을 입력 특징으로 사용하여 조향 휠 각도(SWA) 예측의 절대 오차를 예측할 수 있도록 실패 예측 모델을 학습시킨다.
• Adam 옵timizer를 사용하고 학습률을 1e-5로 설정하여 평균 절대 오차(MAE) 손실 함수로 실패 예측 모델을 학습시킨다.
• 정의된 비안전 기준 이하에서의 실패 탐지에 대해 진짜 양성 비율을 측정하며, 오차 예측의 MAE와 함께 성능을 평가한다.
• 다양한 SWA 범위에서 색채도 맵과 원본 카메라 이미지로 학습된 모델 간의 실패 예측 성능을 비교한다.

실험 결과

연구 질문

• RQ1 색채도 맵는 자율주행 시스템에서 모델 동작을 효과적으로 표현할 수 있는가? 이를 통해 모델 실패를 정확히 예측할 수 있는가?
• RQ2 색채도 맵으로 학습된 실패 예측 모델의 성능이 원본 이미지 입력으로 학습된 모델보다 PilotNet의 조향 오차를 예측하는 데 어떻게 우월한가?
• RQ3 충돌이 발생하기 전에 고오차 조건을 탐지함으로써 실패 예측 모델이 주행 안전성을 얼마나 향상시킬 수 있는가?
• RQ4 특히 날카러운 전환 조건과 같은 도전적인 상황에서, 다양한 조향 각도 범위에서 실패 예측 모델의 성능은 유지되는가?
• RQ5 다른 입력 모odal(색채도 맵 대비 원본 이미지)은 비안전 모델 동작 탐지에 있어 진짜 양성 비율에 어떻게 영향을 미치는가?

주요 결과

• 원본 이미지로 학습된 모델에 비해 색채도 맵으로 학습된 실패 예측 모델은 PilotNet의 조향 각도 오차 예측에서 유의미하게 낮은 MAE를 기록했다.
• 0°–30° SWA 범위에서 색채도 맵 기반 모델은 실패 탐지에 대해 18%의 진짜 양성 비율을 기록했으며, 이미지 기반 모델과 동일한 성능을 보였지만, 더 높은 SWA 범위에서 뛰어난 성능을 보였다.
• 30°–60° SWA 범위에서 색채도 맵 모델은 56%의 진짜 양성 비율을 기록했으며, 이미지 기반 모델의 51%보다 뛰어난 성능을 보였다.
• 60°–90° SWA 범위에서는 두 모델 모두 68%의 진짜 양성 비율을 기록했으며, 극한의 전환 조건에서 높은 신뢰성을 보였다.
• 결과적으로 색채도 맵는 복잡한 주행 시나리오에서 원본 이미지보다 모델 실패를 더 효과적으로 탐지할 수 있는 충분한 고수준 표현을 포함하고 있음을 시사한다.
• 이 연구는 해석 가능성 도구인 색채도 맵가 디버깅을 넘어서 안전이 중요한 실패 예측 시스템의 신뢰할 수 있는 입력으로 재사용될 수 있음을 입증한다.