[논문 리뷰] A Systematic Comparison of Deep Learning Architectures in an Autonomous Vehicle

Michael Teti, William Edward Hahn외 3명|arXiv (Cornell University)|2018. 03. 26.

Advanced Neural Network Applications참고 문헌 43인용 수 3

한 줄 요약

이 연구는 저비용의 실내 원격 조종 차량 플랫폼을 사용하여 엔드 투 엔드 자율 주행 작업에서 완전히 연결된 네트워크에서 ResNet과 LSTM에 이르기까지 일곱 가지 딥러닝 아키텍처를 체계적으로 비교한 최초의 연구이다. 단일 컬러 프레임으로 훈련했을 때 AlexNet이 가장 높은 성능을 보였으며(1단계에서 100% 성공률, 2단계에서 55%), VGG-16는 다양한 입력 유형 간에 가장 일관된 성능을 보였으며, 검증 정확도와 실제 주행 성능 사이에 상당한 '배포 격차'가 있음을 시사했다.

ABSTRACT

Self-driving technology is advancing rapidly --- albeit with significant challenges and limitations. This progress is largely due to recent developments in deep learning algorithms. To date, however, there has been no systematic comparison of how different deep learning architectures perform at such tasks, or an attempt to determine a correlation between classification performance and performance in an actual vehicle, a potentially critical factor in developing self-driving systems. Here, we introduce the first controlled comparison of multiple deep-learning architectures in an end-to-end autonomous driving task across multiple testing conditions. We compared performance, under identical driving conditions, across seven architectures including a fully-connected network, a simple 2 layer CNN, AlexNet, VGG-16, Inception-V3, ResNet, and an LSTM by assessing the number of laps each model was able to successfully complete without crashing while traversing an indoor racetrack. We compared performance across models when the conditions exactly matched those in training as well as when the local environment and track were configured differently and objects that were not included in the training dataset were placed on the track in various positions. In addition, we considered performance using several different data types for training and testing including single grayscale and color frames, and multiple grayscale frames stacked together in sequence. With the exception of a fully-connected network, all models performed reasonably well (around or above 80\%) and most very well (~95\%) on at least one input type but with considerable variation across models and inputs. Overall, AlexNet, operating on single color frames as input, achieved the best level of performance (100\% success rate in phase one and 55\% in phase two) while VGG-16 performed well most consistently across image types.

연구 동기 및 목표

• 실세계 자율 주행 작업에서 여러 딥러닝 아키텍처를 통제된 조건에서 체계적으로 비교하기 위해.
• 동일한 조건에서 다양한 입력 유형(단일 프레임, 프레임 스택, 회색조, 컬러) 간의 모델 성능을 평가하기 위해.
• 임베디드 시스템에서 모델 검증 성능과 실제 주행 성능 사이의 괴리 원인을 조사하기 위해.
• 엔드 투 엔드 자율 제어에서 실제 세계 일반화에 영향을 주는 아키텍처 및 훈련 요소를 규명하기 위해.
• 자율 주행 시스템에서 '배포 격차'를 탐지하고 완화하는 방법을 탐색하기 위해.

제안 방법

• 실시간 추론을 위해 GPU를 탑재한 저비용 오프더쇼프 원격 조종 차량을 사용하였다.
• 센서 입력과 인간의 조향 명령을 기반으로 일곱 가지 딥러닝 모델—완전 연결 네트워크, 2층 CNN, AlexNet, VGG-16, Inception-V3, ResNet-26, LSTM—을 훈련시켰다.
• 두 단계의 테스트 단계를 통해 평가하였다: (1) 동일한 훈련 및 테스트 조건, (2) 예상치 못한 장애물과 환경 변화가 있는 조건.
• 다양한 입력 모odalities를 적용: 단일 회색조 및 컬러 프레임, 회색조 프레임의 스택 시퀀스.
• 새로운 픽셀 뒤집기 방법을 적용하여 시각화 열매맵을 생성하여 모델 결정에 가장 영향을 준 이미지 특징을 규명하였다.
• 모델 간 주행 경로 일관성과 유사도를 분석하여 행동 일반화 및 편향을 평가하였다.

실험 결과

연구 질문

• RQ1 통제된 동일 조건 하에서 다양한 딥러닝 아키텍처는 실세계 자율 주행에서 어떻게 성능을 내는가?
• RQ2 검증 성능이 임베디드 제어 시스템에서 실제 주행 성공률과 어느 정도 상관이 있는가?
• RQ3 입력 유형의 변화(회색조 대 컬러, 단일 프레임 대 프레임 스택)가 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 어떤 아키텍처나 훈련 특성이 일관된 주행 행동과 예상치 못한 장애물에 대한 강건성에 기여하는가?
• RQ5 시각화 열매맵과 경로 유사도 지표는 '배포 격차'에 취약한 모델을 식별하는 데 도움이 될 수 있는가?

주요 결과

• AlexNet은 단일 컬러 프레임 입력을 사용했을 때 1단계에서 100%의 랩 성공률, 2단계에서 55%의 성공률를 기록하여 가장 높은 성능을 보였다.
• VGG-16는 모든 입력 유형에서 가장 일관된 성능을 보였으며, 다양한 테스트 조건에서 대부분의 모델보다 뛰어난 성능을 보였다.
• 중요한 '배포 격차'가 관찰되었다: 강력한 검증 성능(예: ResNet-26)을 보인 모델들이 실제 주행에서 일반화 능력 부족과 행동 일관성 결여로 인해 실패하는 경우가 많았다.
• ResNet-26는 높은 경로 변동성과 강한 행동 편향을 보였으며, 예상치 못한 장애물이나 환경 변화에 적응하지 못해 성능이 저하되었다.
• LSTM 모델은 계산 병목 현상으로 인해 회색조 입력에서는 컬러 입력보다 더 잘 작동했으며, 컬러 프레임에서는 초당 18회의 추론만 가능해 요구되는 30 FPS 이하에 머물렀다.
• 모델 간 경로 유사도와 성공률 유사도 간 상관관계가 뚜렷하지 않아, 행동 일관성이 주행 성공률을 신뢰할 만한 예측 요소로 사용할 수 없다는 점이 확인되었다.