[논문 리뷰] Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car

Mariusz Bojarski, Philip Yeres외 5명|arXiv (Cornell University)|2017. 04. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 242

한 줄 요약

본 논문은 엔드투엔드 CNN인 PilotNet을 제시하고, 스티어링 결정에 가장 영향을 주는 이미지 영역을 식별하는 주목도 시각화 방법을 도입하여 PilotNet이 의미 있는 도로 단서를 학습한다는 것을 보여준다.

ABSTRACT

As part of a complete software stack for autonomous driving, NVIDIA has created a neural-network-based system, known as PilotNet, which outputs steering angles given images of the road ahead. PilotNet is trained using road images paired with the steering angles generated by a human driving a data-collection car. It derives the necessary domain knowledge by observing human drivers. This eliminates the need for human engineers to anticipate what is important in an image and foresee all the necessary rules for safe driving. Road tests demonstrated that PilotNet can successfully perform lane keeping in a wide variety of driving conditions, regardless of whether lane markings are present or not. The goal of the work described here is to explain what PilotNet learns and how it makes its decisions. To this end we developed a method for determining which elements in the road image most influence PilotNet's steering decision. Results show that PilotNet indeed learns to recognize relevant objects on the road. In addition to learning the obvious features such as lane markings, edges of roads, and other cars, PilotNet learns more subtle features that would be hard to anticipate and program by engineers, for example, bushes lining the edge of the road and atypical vehicle classes.

연구 동기 및 목표

• 전면 카메라 이미지에서 스티어링 명령을 출력하도록 인간이 운전한 데이터로 학습된 엔드-투-엔드 CNN을 시연한다.
• PilotNet의 스티어링 결정에 작용하는 영상 영역을 식별하기 위한 간단하고 빠른 주목도 방법을 개발한다.
• 학습된 특징이 인간의 운전 신호와 일치하고, 명확하게 드러나지 않지만 정보성이 높은 도로 요소를 나타낸다.

제안 방법

• PilotNet 아키텍처(정규화 포함 9개 층: 정규화, 5개의 합성곱층 conv, 3개의 완전 연결층 FC)와 입력 전처리(YUV 채널)를 기술한다.
• 데이터 수집 차량의 이미지-스티어링 페어를 사용하여 엔드-투-엔드로 학습하고, 중심 이탈/방향 각도 변화 시뮬레이션을 위한 데이터 증강을 적용한다.
• 고수준 특징 맵에서 입력 이미지로 활성화를 전파하여 시각화 마스크를 생성하는 주목도 시각화 알고리즘을 도입한다.
• 시각화 마스크를 입력 이미지에 겹쳐 스티어링에 영향을 주는 중요한 객체를 식별한다.
• 주목도 영역을 섭동 실험으로 검증한다: 주목도 영역과 비주목도 영역을 이동시켜 스티어링 변화를 관찰한다.

실험 결과

연구 질문

• RQ1 PilotNet의 스티어링 출력에 가장 큰 영향을 주는 도로 이미지의 영역은 어디인가?
• RQ2 학습된 주목도 영역이 의미 있는 운전 신호(차선, 도로 경계, 다른 차량 등)와 일치하는가?
• RQ3 주목도 시각화가 PilotNet이 명시적으로 프로그래밍되지 않은 미묘한 특징을 드러낼 수 있는가?
• RQ4 섬광 실험이 주목도 영역이 시각화대로 스티어링을 제어하는지 확인해 주목도에 의해 예측된 대로 제어되는가?
• RQ5 엔드-투-엔드 학습이 네트워크의 주의 위치를 핸드 엔지니어링 규칙과 비교해 어떻게 다르게 만드는가?

주요 결과

• PilotNet은 차선 마킹, 도로 가장자리, 다른 차량 등과 같은 관련 도로 객체를 인식하는 것을 학습한다.
• 주목도 시각화는 도로 경계의 덤불이나 인간이 수동으로 코드하지 못한 비정상적 차량 클래스와 같은 추가 특징을 드러낸다.
• 주목도 영역만을 이동시키는 것이 전체 이미지를 이동시키는 것과 유사한 큰 스티어링 변화를 유발하는 반면, 비주목도 영역을 이동시키는 것은 작은 영향을 미친다.
• PilotNet의 주의 패턴은 인간의 운전 신호와 일치하여 의사결정에 대한 신뢰를 뒷받침한다.
• 이 시각화 방법은 자동차 내 모니터링에 적합한 빠른 실행으로 거의 픽셀 단위의 통찰을 제공한다.