[논문 리뷰] Fast Recurrent Fully Convolutional Networks for Direct Perception in Autonomous Driving

Yiqi Hou, Sascha Hornauer외 1명|arXiv (Cornell University)|2017. 11. 17.

Advanced Neural Network Applications참고 문헌 13인용 수 14

한 줄 요약

이 논문은 영상 입력으로부터 직접 조향 및 가속도 명령을 예측하는 경량형 엔드 투 엔드 딥 러닝 아키텍처인 빠른 순환 전결합 신경망(Fast Recurrent Fully Convolutional Networks, F-RFCN)을 제안한다. 깊고 좁은 전결합 신경망에 순환 단위를 통합하여 최소한의 파라미터로 구현하였다. F-RFCN는 이전 엔드 투 엔드 모델 대비 3배 적은 파라미터를 사용하며, 더 빠른 수렴 속도와 낮은 손실을 기록하고, 우수한 강건성과 일반화 성능을 보였다. 실제 주행 테스트 트랙에서 85%의 자율주행 비율, DAVE-2 기준 70% 더 오랜 실패까지의 시간, 4배 이상 더 먼 실패까지의 거리를 기록하였다.

ABSTRACT

Deep convolutional neural networks (CNNs) have been shown to perform extremely well at a variety of tasks including subtasks of autonomous driving such as image segmentation and object classification. However, networks designed for these tasks typically require vast quantities of training data and long training periods to converge. We investigate the design rationale behind end-to-end driving network designs by proposing and comparing three small and computationally inexpensive deep end-to-end neural network models that generate driving control signals directly from input images. In contrast to prior work that segments the autonomous driving task, our models take on a novel approach to the autonomous driving problem by utilizing deep and thin Fully Convolutional Nets (FCNs) with recurrent neural nets and low parameter counts to tackle a complex end-to-end regression task predicting both steering and acceleration commands. In addition, we include layers optimized for classification to allow the networks to implicitly learn image semantics. We show that the resulting networks use 3x fewer parameters than the most recent comparable end-to-end driving network and 500x fewer parameters than the AlexNet variations and converge both faster and to lower losses while maintaining robustness against overfitting.

연구 동기 및 목표

• 자율주행에서 직접 인식을 위한 계산 효율적인 엔드 투 엔드 딥 신경망을 설계하여, 성능을 유지하면서도 파라미터 수와 학습 시간을 줄이기.
• 매우 작고 깊으며 얇은 전결합 신경망에 순환 성질을 통합하면, 원시 영상 입력으로부터 복잡한 제어 정책을 효과적으로 학습할 수 있는지 조사하기.
• 배치 정규화, 다중 작업 학습, LSTM 기반 시간적 모델링과 같은 아키텍처 선택이 희소 데이터 조건에서 수렴 속도, 일반화 및 강건성에 미치는 영향 평가하기.
• 실세계 주행 조건에서 최신 엔드 투 엔드 모델인 DAVE-2와의 비교를 통해 실패 지표 및 새로운 시나리오(예: 야간 주행)에 대한 일반화 능력 평가하기.

제안 방법

• 원시 영상 프레임을 직접 조향 및 가속도 명령으로 매핑하는 빠른 순환 전결합 신경망(F-RFCN)의 세 가지 변종을 제안하고, 엔드 투 엔드 회귀를 통해 구현한다.
• 파라미터 수를 줄이면서도 공간적 특징 추출 능력을 유지하기 위해 깊고 좁은 전결합 레이어를 활용한다.
• 순차적 프레임 간의 시간적 의존성을 모델링하기 위해 순환 단위(LSTM)를 통합하여 스펙트로시계적 이해를 향상시킨다.
• 보조 분류 헤드를 포함하여 다중 작업 학습을 통합함으로써 이미지 의미를 암묵적으로 학습하고, 특징 표현을 향상시킨다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 배치 정규화와 잔차 스킵 연결을 사용한다.
• 제어 명령에 대한 회귀 손실과 의미 이해에 대한 분류 손실을 포함하는 복합 손실 함수로 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 작고 깊으며 얇은 전결합 신경망에 순환 성질을 통합하면, 이전 모델 대비 훨씬 적은 파라미터로 강건한 엔드 투 엔드 주행 제어를 달성할 수 있는가?
• RQ2 다중 작업 학습과 의미 분류 헤드의 통합은 엔드 투 엔드 주행 네트워크의 수렴 속도와 일반화에 어떤 영향을 미치는가?
• RQ3 희소 데이터 조건에서 F-RFCN은 더 큰 모델에 비해 어떤 정도의 일반화 능력을 보이는가?
• RQ4 실세계 주행 지표인 실패까지의 시간, 거리, 자율주행 비율 측면에서 F-RFCN은 DAVE-2 기준선을 초월하는가?

주요 결과

• F-RFCN 모델은 다음으로 작은 엔드 투 엔드 주행 네트워크보다 3배 적은 파라미터를 사용하고, AlexNet 기반 모델보다 500배 적은 파라미터를 사용하며, 더 빠른 수렴 속도와 낮은 최종 손실을 기록하였다.
• 실제 테스트 트랙에서 F-RFCN는 DAVE-2 기준선 대비 85%의 자율주행 비율을 달성했고, 평균 실패까지의 시간은 70% 더 길었다(124초 대비 72.75초).
• F-RFCN는 평균 실패까지 132.9미터를 주행했고, DAVE-2 모델의 33.4미터보다 4배 이상 더 멀리 주행하였다.
• 야간 주행 조건에서 F-RFCN는 경로 보정을 尝시도하는 등 더 나은 일반화 능력을 보였고, DAVE-2 모델은 복구를 하지 못하고 실패하였다.
• 빛의 갑작스러운 자극(예: 손전등)과 같은 시각적 혼란 요소에 대해 F-RFCN는 처음에는 반응을 보였지만, 후속으로 경로를 복구하는 등 강건성을 보였다. 반면 DAVE-2 모델은 빛에 강하게 끌렸다.
• 희소 데이터 학습 조건에서 F-RFCN는 성능 유지와 수렴 안정성을 유지하며, 저자원 환경에서도 일반화 능력 향상을 보였다.