[논문 리뷰] The NVIDIA PilotNet Experiments

Mariusz Bojarski, Chenyi Chen외 23명|arXiv (Cornell University)|2020. 10. 17.

Autonomous Vehicle Technology and Safety참고 문헌 9인용 수 12

한 줄 요약

이 논문은 단일 전방 카메라만을 사용하여 라이다, 레이더 또는 지도 없이도 자율 주행을 가능하게 하는 딥 뉴럴 네트워크(DNN) 기반 시스템인 PilotNet를 제안한다. 기존의 모듈러 아키텍처를 회피하고, 원시 픽셀을 직접 차량의 주행 경로 명령어로 매핑함으로써, 인간 간섭 없이 평균 500km의 고속도로 주행을 구현한다. 이는 자율 주행을 위한 엔드 투 엔드 학습의 실현 가능성을 입증한다.

ABSTRACT

Four years ago, an experimental system known as PilotNet became the first NVIDIA system to steer an autonomous car along a roadway. This system represents a departure from the classical approach for self-driving in which the process is manually decomposed into a series of modules, each performing a different task. In PilotNet, on the other hand, a single deep neural network (DNN) takes pixels as input and produces a desired vehicle trajectory as output; there are no distinct internal modules connected by human-designed interfaces. We believe that handcrafted interfaces ultimately limit performance by restricting information flow through the system and that a learned approach, in combination with other artificial intelligence systems that add redundancy, will lead to better overall performing systems. We continue to conduct research toward that goal. This document describes the PilotNet lane-keeping effort, carried out over the past five years by our NVIDIA PilotNet group in Holmdel, New Jersey. Here we present a snapshot of system status in mid-2020 and highlight some of the work done by the PilotNet group.

연구 동기 및 목표

• 수동으로 설계된 모듈과 인터페이스를 제거하는 엔드 투 엔드 딥 러닝 시스템을 개발하여 자율 주행을 구현하는 것.
• 단일 통합 DNN가 복잡한 주행 환경에서 기존의 모듈러 룰 기반 시스템을 능가할 수 있는지 조사하는 것.
• 데이터 정제, 시뮬레이션, 자동화된 테스트 파이프라인을 통해 시스템의 내구성과 안전성을 향상시키는 것.
• 시뮬레이션 기반 훈련의 한계를 이해하고 실제 환경에서 성능 저하의 근본 원인을 규명하는 것.
• 대규모 자율 주행 차량 개발을 위한 확장 가능한 소프트웨어 및 인프라 관행을 수립하는 것.

제안 방법

• 다중층 컨볼루션 신경망이 전방 카메라에서 입력되는 원시 RGB 영상을 처리하여 차량의 주행 경로와 차선 경계를 예측한다.
• 인간이 주행 조작 명령을 주석 처리한 실제 주행 영상의 대규모 정제된 데이터셋을 사용하여 훈련을 수행한다.
• 실제 영상 기록을 기반으로 한 고정밀 시뮬레이션 환경이 네트워크 성능을 사전 검증 및 테스트하기 위해 사용된다.
• NVIDIA DRIVE AGX 플랫폼에서 GPU 자원이 대규모 클러스터에 분산되어 있는 환경에서 자동화된 소프트웨어 파이프라인을 통해 훈련을 수행한다.
• 차량 내 모니터링 도구를 통해 안전 운영자가 테스트 중 실시간 주행 예측을 관찰할 수 있다.
• 지속적 통합(CI)과 자동화된 단위 테스트를 도입하여 규모가 큰 개발 환경에서의 버그 복귀 방지를 보장하고 코드 품질을 확보한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 뉴럴 네트워크가 자율 주행에서 기존의 모듈러 아키텍처를 대체할 수 있는가?
• RQ2 시뮬레이션 최적화 모델이 실제 환경에 배포될 경우 성능이 어떻게 저하되는가?
• RQ3 데이터 품질과 정제 과정이 강력한 자율 주행 성능 달성에 어떤 역할을 하는가?
• RQ4 자동화된 테스트 및 시각화 도구는 복잡한 DNN 시스템에서 숨겨진 버그를 어떻게 탐지할 수 있는가?
• RQ5 DNN 기반 자율 주행 시스템을 확장하기 위해 필요한 인프라 및 개발 관행은 무엇인가?

주요 결과

• PilotNet는 단일 전방 카메라만을 사용하여 인간 간섭 없이 평균 500km의 고속도로 주행을 달성했다.
• 시스템은 라이다, 레이더 또는 지도 없이도 엔드 투 엔드 학습이 고성능 자율 주행을 가능하게 함을 입증했다.
• 훈련 과정에서 성능 포화는 종종 손상되거나 품질이 낮은 훈련 데이터로 인해 발생했으며, 이는 데이터 정제의 중요성을 강조한다.
• 시뮬레이션 기반 최적화로 인해 실제 환경에서의 성능 저하가 발생했으며, 이는 데이터 아티팩트로 인한 분포 이탈 때문이었고, 근본 원인 분석을 통해 이를 수정할 수 있었다.
• 시각화 도구와 학습 곡선은 훈련 중 숨겨진 버그 탐지 및 성능 저하 요인 규명에 핵심적인 역할을 했다.
• 자동화된 CI 및 코드 리뷰 프로세스는 대규모 개발 팀에서 코드 품질을 유지하고 버그 복귀를 방지하는 데 필수적이었다.