[논문 리뷰] DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving

Chenyi Chen, Ari Seff외 2명|arXiv (Cornell University)|2015. 05. 01.

Autonomous Vehicle Technology and Safety참고 문헌 15인용 수 154

한 줄 요약

이 논문은 깊이 학습 기반의 직접 인지 프레임워크인 DeepDriving을 제안한다. 이는 원시 이미지에서 직접 주변 차량과의 거리, 차선 위치와 같은 핵심 주행 가능성을 추정하기 위해 깊이 컨볼루션 신경망을 사용하며, 전체 장면 해석이나 엔드 투 엔드 행동 회귀를 거치지 않는다. 이 방법은 KITTI 데이터셋에서 거리 추정 성능 측면에서 최신 기준을 달성하여, y방향으로 평균 절대 오차(MAE)가 5.832m를 기록하며 실제 주행 환경으로의 일반화 능력이 뛰어나다.

ABSTRACT

Today, there are two major paradigms for vision-based autonomous driving systems: mediated perception approaches that parse an entire scene to make a driving decision, and behavior reflex approaches that directly map an input image to a driving action by a regressor. In this paper, we propose a third paradigm: a direct perception approach to estimate the affordance for driving. We propose to map an input image to a small number of key perception indicators that directly relate to the affordance of a road/traffic state for driving. Our representation provides a set of compact yet complete descriptions of the scene to enable a simple controller to drive autonomously. Falling in between the two extremes of mediated perception and behavior reflex, we argue that our direct perception representation provides the right level of abstraction. To demonstrate this, we train a deep Convolutional Neural Network using recording from 12 hours of human driving in a video game and show that our model can work well to drive a car in a very diverse set of virtual environments. We also train a model for car distance estimation on the KITTI dataset. Results show that our direct perception approach can generalize well to real driving images. Source code and data are available on our project website.

연구 동기 및 목표

• 자율주행에서 간접 인지(과도한 장면 해석)와 행동 반사(이미지에서 행동으로 직접 매핑)의 한계를 해결하기 위해.
• 전체 장면 이해 없이도 핵심 주행 가능성을 추정하는 중간 영역의 패러다임인 직접 인지를 제안하기 위해.
• 간단한 제어를 가능하게 하면서도 강건성과 일반화 능력을 유지하는 작고 작업에 특화된 표현을 개발하기 위해.
• 인간 주행 영상 데이터를 기반으로 깊이 학습된 컨볼루션 신경망(CNN)을 훈련시켜 이미지에서 주행 관련 지표로의 직접 매핑을 학습시키기 위해.
• 합성(TORCS) 및 실제 주행(KITTI) 데이터셋에서 성능을 평가하여 실제 이미지로의 일반화 능력을 입증하기 위해.

제안 방법

• 레이싱 게임(TORCS)에서 수집한 12시간 분량의 인간 주행 영상 데이터를 기반으로 깊이 컨볼루션 신경망(CNN)을 훈련시어, 주행 관련 주요 가능성을 회귀함: x 및 y 방향으로의 가장 가까운 차량과의 거리, 유클리드 거리.
• 전결합층을 사용해 장면의 주행 결정에 관련된 특징을 포함하는 4,096차원의 중간 표현을 추출함.
• 뉴런 활성화 패턴과 반응 맵을 시각화하여 네트워크가 학습한 특징(예: 차선 표시, 차량 위치, 주행 차량의 방향 등)을 해석함.
• 거리 추정을 위해 투영 기반 기반선(DPM)과 비교함. 거짓 양성(false positive)에 대한 보정 여부에 따라 성능 평가.
• KITTI 데이터셋에 동일한 네트워크 아키텍처를 적용하여 실제 주행 환경에서의 거리 추정을 수행함. 보정된 센서 데이터에서의 진짜값을 사용함.
• 평균 절대 오차(MAE)를 성능 평가 지표로 사용함. 일부 지표에서는 거짓 양성에 대한 보정을 적용하여 공정성을 확보함.

실험 결과

연구 질문

• RQ1 깊이 학습된 컨볼루션 신경망(CNN)은 전체 장면 해석 없이도 원시 이미지에서 핵심 주행 가능성(예: 가장 가까운 차량과의 거리)을 직접 추정할 수 있는가?
• RQ2 제안된 직접 인지 접근법은 KITTI 데이터셋과 같은 실제 주행 데이터로 일반화 가능한가?
• RQ3 직접 인지의 성능는 객체 검출과 기하학적 투영을 사용하는 간접 인지 기반선(DPM)과 비교해 어떻게 되는가?
• RQ4 CNN에서 학습된 특징들이 차선 표시, 주변 차량 등 의미 있는 주행 관련 구조와 얼마나 관련이 있는가?
• RQ5 전통적인 투영 기반 방법이 실패하는 부분 가림 차량이나 비균일한 지형과 같은 도전적인 상황에서도 모델이 잘 작동하는가?

주요 결과

• 제안된 직접 인지 모델은 KITTI 데이터셋에서 가장 가까운 차량의 y좌표(전방 거리) 예측에 대해 평균 절대 오차(MAE)가 5.832미터를 기록함.
• x좌표(측방 거리)의 MAE는 1.565미터이며, 유클리드 거리(d)의 MAE는 6.299미터로, 실제 주행 환경에서 뛰어난 성능을 보임.
• 거짓 양성이 보정되지 않은 경우, 모델의 오차가 크게 감소함(예: d에 대해 4.669m), 이는 DPM 기반 기반선보다 진짜 양성에 대해 더 정확한 추정을 함을 시사함.
• 뉴런 활성화 시각화 결과, 차선 표시, 차량 위치, 주행 차량의 방향과 강한 상관관계를 보이며, 네트워크가 작업에 특화된 특징을 학습하고 있음을 확인함.
• 4번째 컨볼루션 레이어의 반응 맵은 주변 차량과 차선 표시 영역에서 강한 활성화를 보이며, 네트워크가 가능성을 추정하기 위해 관련 영역에 주의를 기울인다는 것을 나타냄.
• 합성 영상으로 훈련되었음에도 불구하고 실제 주행 이미지로의 일반화 능력이 뛰어나며, 특히 거짓 양성이 제거된 경우 DPM 기반 투영 방법을 초월함.