[논문 리뷰] An Empirical Evaluation of Deep Learning on Highway Driving

Brody Huval, Tao Wang외 11명|arXiv (Cornell University)|2015. 04. 07.

Autonomous Vehicle Technology and Safety참고 문헌 20인용 수 409

한 줄 요약

이 논문은 차량과 차선 표시가 포함된 17,000장의 레이블이 부여된 이미지 프레임과 616,000개의 차선 표시가 포함된 대규모 데이터셋을 사용하여 고속도로 주행을 위한 딥러닝 성능을 평가한다. 카메라, 라이다, 레이더, GPS 데이터를 기반으로 훈련된 단일 스풍경 컨볼루션 신경망 검출기는 실시간 성능(44 Hz)을 달성하며, 50미터 이내에서 자동차 주행 차선 검출에 대해 F1 스코어 100%를 기록하여 자율주행 시스템에 매우 유망한 성능을 보여준다.

ABSTRACT

Numerous groups have applied a variety of deep learning techniques to computer vision problems in highway perception scenarios. In this paper, we presented a number of empirical evaluations of recent deep learning advances. Computer vision, combined with deep learning, has the potential to bring about a relatively inexpensive, robust solution to autonomous driving. To prepare deep learning for industry uptake and practical applications, neural networks will require large data sets that represent all possible driving environments and scenarios. We collect a large data set of highway data and apply deep learning and computer vision algorithms to problems such as car and lane detection. We show how existing convolutional neural networks (CNNs) can be used to perform lane and vehicle detection while running at frame rates required for a real-time system. Our results lend credence to the hypothesis that deep learning holds promise for autonomous driving.

연구 동기 및 목표

• 고속도로 주행 인식 작업, 예를 들어 차선 및 차량 검출과 같은 실시간 딥러닝의 가능성 평가.
• 차선 및 차량에 대한 정확한 레이블이 부여된 다양한 고속도로 주행 시나리오의 대규모 데이터셋 구축.
• 기존의 컨볼루션 신경망(CNN)이 자율주행 인식 작업에서 강력하고 실시간 성능을 낼 수 있음을 입증.
• 정밀도, 재현율, 깊이 추정 정확도 측면에서 딥러닝 기반 검출과 전통적인 레이더 기반 시스템 간의 성능 비교.
• 프레임 수준의 레이블을 수집하여 향후 시간적 모델링 연구를 가능하게 함.

제안 방법

• 동기화된 카메라, 라이다, 레이더, GPS 센서를 사용하여 차량 경계 상자와 차선 표시가 포함된 17,000장의 이미지 프레임 데이터셋을 수집.
• 단일 프로세스 전방 계산을 통해 차선 및 차량을 동시에 엔드 투 엔드로 검출하기 위한 단일 스풍경 컨볼루션 신경망(CNN)을 훈련.
• 차량 검출 평가의 매칭 기준으로 교차면적비(IoU) ≥ 0.5를 사용하며, 정답은 아마존 메카니컬 터크를 통해 확보.
• 차선 검출 평가에 3차원 공간 임계값을 사용하여, 예측값과 정답값 간의 차이가 0.5미터 이내일 경우 참으로 간주.
• 레이더 반사 신호를 정답으로 사용하여 레이저 기반 시스템과의 비교를 통해 검출 성능 평가.
• Caffe 프레임워크 기반으로 GitHub에 차량 및 차선 검출기 코드를 오픈소스화.

실험 결과

연구 질문

• RQ1 사전 학습 및 미세조정된 CNN가 고속도로 주행 데이터에서 실시간으로 높은 정확도로 차선 및 차량 검출을 달성할 수 있는가?
• RQ2 정밀도, 재현율, 깊이 추정 정확도 측면에서 딥러닝 기반 검출의 성능은 기존 레이더 기반 시스템과 비교해 어떻게 되는가?
• RQ3 교차로, 그림자, 기상 변화와 같은 다양한 조건에서 네트워크의 일반화 능력은 어느 정도인가?
• RQ4 50미터를 초과하는 거리에서 해상도와 거리가 차선 검출 정확도에 미치는 영향은 무엇인가?
• RQ5 단일 CNN 모델이 동시에 차선과 차량을 충분한 속도와 정확도로 검출하여 실시간 배포에 적합한가?

주요 결과

• 자신의 차선 경계 검출 시스템은 50미터 이내에서 F1 스코어 100%를 기록하였으며, 이미지 해상도 제한으로 인해 65미터를 초과하면 성능이 저하됨.
• 근접한 물체의 차량 검출 재현율이 과도한 가로등 및 그림자 효과로 인한 가짜 양성 결과로 인해 크게 떨어졌으며, 이는 주요 오류 원인임.
• 딥러닝 검출기는 단일 GTX 780 Ti에서 44 Hz로 실행되어 자율주행 시스템의 실시간 요구 조건을 충족함.
• 레이더와 비교했을 때, 딥러닝 모델은 높은 재현율(85.4%)을 기록했으며 정밀도 98.5%를 유지하여 레이더의 100% 정밀도에도 불구하고 F1 스코어에서 레이더를 뛰어넘음.
• 차량의 깊이 예측에서 표준 오차는 거리에 관계없이 일관되게 낮았으며, 모델은 신뢰할 수 있는 깊이 추정 성능를 보였음.
• 정성적 영상 결과는 다양한 고속도로 조건에서 차량과 차선을 안정적으로 검출했지만, 후면 카메라로만 훈련된 점을 감안해 만남 차량은 검출하지 못함.