[논문 리뷰] Brain Inspired Cognitive Model with Attention for Self-Driving Cars

Shitao Chen, Songyi Zhang외 3명|arXiv (Cornell University)|2017. 02. 18.

EEG and Brain-Computer Interfaces참고 문헌 26인용 수 11

한 줄 요약

이 논문은 자율주행 차량을 위한 뇌에 영감을 받은 주의 기반 인지 모델(CMA)을 제안한다. 이 모델은 시각 인식을 위한 CNN, 장면 이해를 위한 인지 지ap, 시간적 의존성을 모델링하고 주의를 기반으로 하는 LSTM 기반 순환 네트워크를 통합한다. 이는 인지적 주행 성능을 달성하기 위해 인식, 경로 계획, 제어를 종단간 학습으로 통합하며, 실시간 주행 지시와 장애물 처리 기능을 갖춘 시뮬레이션 환경에서 인간 수준의 주행 성능을 구현한다.

ABSTRACT

Perception-driven approach and end-to-end system are two major vision-based frameworks for self-driving cars. However, it is difficult to introduce attention and historical information of autonomous driving process, which are the essential factors for achieving human-like driving into these two methods. In this paper, we propose a novel model for self-driving cars named brain-inspired cognitive model with attention (CMA). This model consists of three parts: a convolutional neural network for simulating human visual cortex, a cognitive map built to describe relationships between objects in complex traffic scene and a recurrent neural network that combines with the real-time updated cognitive map to implement attention mechanism and long-short term memory. The benefit of our model is that can accurately solve three tasks simultaneously:1) detection of the free space and boundaries of the current and adjacent lanes. 2)estimation of obstacle distance and vehicle attitude, and 3) learning of driving behavior and decision making from human driver. More significantly, the proposed model could accept external navigating instructions during an end-to-end driving process. For evaluation, we build a large-scale road-vehicle dataset which contains more than forty thousand labeled road images captured by three cameras on our self-driving car. Moreover, human driving activities and vehicle states are recorded in the meanwhile.

연구 동기 및 목표

• 자율주행 차량의 인식 기반 및 종단간 학습 프레임워크의 한계를 주의 및 이전 정보를 통합함으로써 보완하기 위해.
• 인간 뇌 기제를 모방한 시각 인식, 장면 이해, 의사결정을 통합한 통합 모델을 개발하기 위해.
• 종단간 주행 중 외부 주행 지시와 실시간 적응을 가능하게 하여 하이브리드 증강 지능을 지원하기 위해.
• 학습 및 평가를 위한 대규모 다중 모odal 데이터셋(Road-Vehicle Dataset)을 구축하기 위해.
• 복잡한 교통 환경에서 자유 공간 탐지, 장애물 거리 추정, 주행 행동 학습을 동시에 수행할 수 있는지 입증하기 위해.

제안 방법

• 시각 피처를 추출하기 위해 다중 카메라에서 확보한 도로 영상을 처리하기 위해 컨volutional 신경망(CNN)을 사용하여 인간의 시각皮질을 시뮬레이션한다.
• 차량, 차선 경계선, 장애물, 주행 지시 간의 관계를 표현하기 위해 인지 지도를 구성하며, 인식 및 상태 정보를 통합한다.
• 시간적 의존성을 모델링하기 위해 다중 층을 가진 순환 신경망(LSTM)을 사용하며, 의사결정을 위한 이전 상태 및 장면 데이터에 대한 주의를 가능하게 한다.
• LSTM 네트워크는 입력 크기 [20×C^t]를 처리하며, 은닉 상태 크기 [20×16], [20×64], [20×64]를 거쳐 조향 각도를 출력한다.
• 40,000장 이상의 레이블이 부여된 도로 영상과 동기화된 인간 주행 행동 및 차량 상태를 포함한 맞춤형 데이터셋을 사용해 모델을 학습하고 평가한다.
• 다양한 주행 시나리오, 예를 들어 차선 변경 및 장애물 회피를 테스트하기 위해 시뮬레이션 환경을 활용하여 계획 및 제어 성능을 평가한다.

실험 결과

연구 질문

• RQ1 주목적 기반의 통합 인지 모델이 자율주행 차량에서 인식, 계획, 제어를 효과적으로 통합할 수 있는가?
• RQ2 뇌에 영감을 받은 순환 기억 기반 모델이 동적 주행 환경에서 시간적 의존성을 얼마나 잘 처리할 수 있는가?
• RQ3 종단간 주행 중 외부 주행 지시를 수신하고 반응할 수 있는가? 이는 하이브리드 증강 지능을 가능하게 하는가?
• RQ4 모델이 인간의 주행 시연을 통해 주행 행동을 얼마나 잘 학습할 수 있으며, 실시간 성능 유지를 유지할 수 있는가?
• RQ5 인지 지도가 복잡한 교통 환경에서 장면 이해 및 의사결정을 어떻게 향상시키는가?

주요 결과

• CMA 모델은 자유 공간 및 차선 경계선 탐지, 장애물 거리 및 차량 자세 추정, 주행 행동 학습의 세 가지 핵심 작업을 동시에 성공적으로 수행한다.
• 특히 장애물이 있는 차선 변경 시나리오에서 매끄럽고 안정적이며 인간과 유사한 주행 경로를 기록한다.
• Chen 등 [14]의 이전 방법과 비교해, CMA 모델은 LSTM를 통한 시간적 의존성 모델링 덕분에 뛰어난 성능을 보인다.
• 모델은 3.5m와 4m의 다양한 차선 폭, 50m에서 200m까지의 다양한 장애물 거리에서도 일관된 성능을 유지하며, 강건성을 입증한다.
• 인지 지도의 사용은 주행 지시, 차량 상태, 인식 결과를 효과적으로 통합하여 맥락 인식 기반 의사결정을 가능하게 한다.
• 모델는 종단간 주행 과정 중 외부 주행 지시를 수신하고 반응할 수 있으며, 하이브리드 증강 지능을 지원한다.