[논문 리뷰] Conditional Affordance Learning for Driving in Urban Environments

Axel Sauer, Nikolay Savinov외 1명|arXiv (Cornell University)|2018. 06. 18.

Autonomous Vehicle Technology and Safety인용 수 29

한 줄 요약

이 논문은 복잡한 도심 환경에서 안전하고 부드러운 자율 주행을 위한 직접 인식 접근 방식인 조건부 기능 학습(CAL)을 제안한다. 비디오 입력과 고수준 주행 명령어를 기반으로 저차원 기능 표현을 생성하며, 방향성 의도와 이미지 수준의 레이블을 조건으로 삼아 CARLA에서 목표 지향 주행 성능을 68% 향상시키고, 신호등 및 속도 표지판 처리를 엔드 투 엔드로 학습함으로써 시뮬레이션에서 사고를 크게 감소시킨다.

ABSTRACT

Most existing approaches to autonomous driving fall into one of two categories: modular pipelines, that build an extensive model of the environment, and imitation learning approaches, that map images directly to control outputs. A recently proposed third paradigm, direct perception, aims to combine the advantages of both by using a neural network to learn appropriate low-dimensional intermediate representations. However, existing direct perception approaches are restricted to simple highway situations, lacking the ability to navigate intersections, stop at traffic lights or respect speed limits. In this work, we propose a direct perception approach which maps video input to intermediate representations suitable for autonomous navigation in complex urban environments given high-level directional inputs. Compared to state-of-the-art reinforcement and conditional imitation learning approaches, we achieve an improvement of up to 68 % in goal-directed navigation on the challenging CARLA simulation benchmark. In addition, our approach is the first to handle traffic lights and speed signs by using image-level labels only, as well as smooth car-following, resulting in a significant reduction of traffic accidents in simulation.

연구 동기 및 목표

• 모듈러 파ip라인은 너무 복잡하고, 모방 학습은 해석성이 떨어지므로, 직접 인식 기반 기술을 복잡한 도심 주행 환경으로 확장하고자 한다.
• 고수준 주행 명령어(예: '좌회전')를 사용해 기능 예측을 유도하는 조건부 신경망을 개발하고자 한다.
• 피xls 수준의 레이블이 아닌 이미지 수준의 애너테이션만을 사용해 신호등 및 속도 표지판 인식을 엔드 투 엔드로 학습할 수 있도록 하고자 한다.
• 안정적인 제어를 지원하고 급작스러운 가속/감속을 줄이는 중간 표현을 학습함으로써 주행의 부드러움과 안전성을 향상시키고자 한다.
• 시뮬레이션에서의 해석 가능성과 강건성을 유지하면서도 최신 기술 수준의 목표 지향 주행 성능을 달성하고자 한다.

제안 방법

• 비디오 인코더가 순차적인 RGB 프레임을 처리하여 시공간적 특징을 추출한다.
• 고수준 주행 명령어에 조건부로 설정된 조건부 헤드가 저차원 기능 벡터(예: 중심선까지의 거리, 상대 각도, 차량 간격 등)의 집합을 예측한다.
• 기능 예측 결과는 기존의 제어기에서 제어 명령어(스티어링, 페달 조작)를 생성하는 데 사용된다.
• 피xls 수준의 애너테이션을 피하기 위해, 이미지 수준의 레이블을 사용해 지도 학습 방식으로 모델을 훈련시킨다.
• 시간적 모델링을 위해 LSTMs, GRUs 또는 시간적 컨볼루션을 적용하여 시간에 따른 예측 안정성을 향상시킨다.
• 다중 작업 학습 목표를 통해 여러 종류의 기능을 동시에 최적화하며, 작업별로 특화된 헤드 설계를 한다.

실험 결과

연구 질문

• RQ1 직접 인식 기반의 조건부 기능 학습은 엔드 투 엔드 모방 학습 및 강화 학습 대비 복잡한 도심 환경에서 목표 지향 주행 성능을 향상시킬 수 있는가?
• RQ2 직접 인식 아키텍처에서 이미지 수준의 레이블만으로도 신호등과 속도 표지판을 효과적으로 인식할 수 있는가?
• RQ3 고수준 주행 명령어에 기능 예측을 조건화함으로써 주행의 안정성과 안전성이 어떻게 향상되는가?
• RQ4 시간적 모델링이 주행 행동의 강건성과 부드러움을 얼마나 향상시키는가?
• RQ5 최소한의 감독 신호로도 다양한 도심 환경(교차로, 동적 장애물 포함)에서 일반화할 수 있는가?

주요 결과

• CAL은 최신 기술 수준의 강화 학습 및 조건부 모방 학습 방법 대비 CARLA 벤치마크에서 목표 지향 주행 성공률을 68% 향상시켰다.
• 이 논문은 도심 주행에서 직접 인식 기반으로 이미지 수준의 레이블만을 사용해 신호등 및 속도 표지판을 성공적으로 탐지한 최초의 사례이다.
• CAL 에이전트는 부드러운 차량 추종과 적절한 신호등 준수를 통해 시뮬레이션에서 사고를 줄였다.
• 중앙선에서의 중앙선 이탈 중앙값은 0.334 m로, CIL(0.390 m)과 RL(0.755 m)을 모두 뛰어넘어 뛰어난 차선 유지 성능을 보였다.
• 종방향 급격한 가속도(Jerk)는 0.333 m/s³로, RL(1.368 m/s³)보다 크게 낮아 가속 및 감속이 더 부드럽다는 것을 나타낸다.
• 커브에서의 횡방향 급격한 가속도(Jerk)는 0.065 m/s³로, RL(0.548 m/s³)보다 현저히 낮아 더 부드러운 스티어링 전환을 보였다.