[논문 리뷰] Two-stream convolutional networks for end-to-end learning of self-driving cars

Nelson Fernández|arXiv (Cornell University)|2018. 11. 13.

Autonomous Vehicle Technology and Safety참고 문헌 13인용 수 10

한 줄 요약

이 논문은 자동운전차량의 스텝 예측 정확도를 향상시키기 위해 원시 이미지에서 공간적 특징과 옵티컬 플로우에서 시간적 특징을 동시에 학습하는 이중 스트림 2D-CNN 아키텍처를 제안한다. 이전 스텝의 조향 각도를 보조 작업으로 사용하는 다중 작업 학습을 통해 Comma.ai 데이터셋에서 기준 회귀 방법 대비 정확도와 안정성이 30% 향상되었으며, 화이트니스(white noise)는 4.97도/시간으로 감소하여 인간 운전 행동에 더 가까워졌다.

ABSTRACT

We propose a methodology to extend the concept of Two-Stream Convolutional Networks to perform end-to-end learning for self-driving cars with temporal cues. The system has the ability to learn spatiotemporal features by simultaneously mapping raw images and pre-calculated optical flows directly to steering commands. Although optical flows encode temporal-rich information, we found that 2D-CNNs are prone to capturing features only as spatial representations. We show how the use of Multitask Learning favors the learning of temporal features via inductive transfer from a shared spatiotemporal representation. Preliminary results demonstrate a competitive improvement of 30% in prediction accuracy and stability compared to widely used regression methods trained on the Comma.ai dataset.

연구 동기 및 목표

• 단일 프레임 회귀의 한계를 보완하기 위해 시간적 역학을 통합하는 것.
• 2D-CNN가 옵티컬 플로우에서 시간적 특징을 효과적으로 학습할 수 있는지 조사하는 것.
• 유도 전이를 통해 시간적 일반화 능력을 향상시키기 위해 다중 작업 학습의 효과를 평가하는 것.
• 제안된 이중 스트림 아키텍처를 Comma.ai 데이터셋에서 최신 2D-CNN 회귀 모델들과 비교 평가하는 것.
• 원소별 곱셈을 통한 공유된 시공간 표현이 특징 융합과 예측 안정성을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 모델은 두 개의 동일한 2D-CNN 브랜치를 사용한다: 하나는 공간적 특징을 위해 원시 RGB 이미지를 처리하고, 다른 하나는 시간적 운동 신호를 위해 사전 계산된 옵티컬 플로우를 처리한다.
• 각 스트림의 최종 합성곱층에 대해 전역 평균 풀링을 적용하여 파rameter 수를 줄이고 과적합을 방지한다.
• 두 스트림의 임베딩은 원소별 곱셈을 통해 공유된 시공간 표현으로 융합된다.
• 선형 출력을 갖는 다층 퍼셉트론(MLP)이 현재 조향 각도를 예측하기 위해 회귀를 수행한다.
• 다중 작업 학습을 위해 네트워크를 동시에 현재 및 이전 조향 각도를 예측하도록 훈련시키며, 후자는 훈련 기간 동안만 사용된다.
• 이중 단계 훈련 전략을 사용한다: 먼저 각 스트림을 별도로 사전 훈련하고, 이후 전체 네트워크를 최종 회귀 헤드에 중점을 두고 미세조정한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 자동운전 시스템에서 2D-CNN가 옵티컬 플로우 표현으로부터 시간적 특징을 효과적으로 학습할 수 있는가?
• RQ2 공유된 시공간 표현을 통한 공간적 및 시간적 스트림 융합이 회귀 정확도와 안정성을 향상시키는가?
• RQ3 이전 조향 각도를 보조 작업으로 사용하는 다중 작업 학습이 시간적 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 이중 스트림 아키텍처는 원시 이미지 또는 옵티컬 플로우만으로 훈련된 단일 스트림 2D-CNN보다 성능에서 뛰어나게 되는가?
• RQ5 옵티컬 플로우와 다중 작업 학습의 사용이 예측 편향을 줄이고 조향 명령의 화이트니스(시간적 매끄러움)를 향상시키는가?

주요 결과

• 이중 스트림 컨volution 네트워크는 Comma.ai 테스트 세트에서 RMSE 12.52도를 기록하여 기준 회귀 방법 대비 30% 정확도 향상을 보였다.
• 모델의 화이트니스는 4.97도/시간으로 감소하여 인간 운전자 기준의 4.36도/시간에 더 가까워졌으며, 더 매끄러운 조향 예측을 의미한다.
• 옵티컬 플로우만으로 훈련한 경우 원시 이미지 대비 30% 정확도 향상(단순-CNN 대비 RMSE 14.21 vs. 20.55)을 보였지만, 화이트니스는 향상되지 않아 공간적 특징 학습만으로는 한계가 있음을 시사한다.
• 제안된 아키텍처는 Comma.ai의 2D-CNN(RMSE 23.99)과 Nvidia PilotNet(RMSE 20.55)을 포함한 최신 모델들을 모두 능가했다.
• 이전 조향 각도를 보조 작업으로 사용하는 다중 작업 학습을 통해 유도 전이가 가능해져 시간적 편향이 교정되고 안정성이 향상되었다.
• 산점도 분석을 통해 이중 스트림 모델이 단일 스트림 모델 대비 공간적 및 시간적 차원에서 모두 예측 편향을 감소시켰다.