[논문 리뷰] Computer Stereo Vision for Autonomous Driving

Rui Fan, Li Wang외 2명|arXiv (Cornell University)|2020. 12. 06.

Advanced Vision and Imaging참고 문헌 84인용 수 28

한 줄 요약

이 논문은 자율주행 차량을 위한 컴퓨터 스테레오 시각의 종합적인 프레임워크를 제시하며, 속도와 정확도의 상충 관계를 최적화하기 위해 다중 스레드 CPU 및 GPU 아키텍처를 통합한다. 실시간 성능을 가능하게 하기 위해 병렬 계산을 활용하여 3D 환경 재구성, 객체 탐지, 의미 분할 등의 스테레오 시각 파이프라인을 상세히 기술한다.

ABSTRACT

As an important component of autonomous systems, autonomous car perception has had a big leap with recent advances in parallel computing architectures. With the use of tiny but full-feature embedded supercomputers, computer stereo vision has been prevalently applied in autonomous cars for depth perception. The two key aspects of computer stereo vision are speed and accuracy. They are both desirable but conflicting properties, as the algorithms with better disparity accuracy usually have higher computational complexity. Therefore, the main aim of developing a computer stereo vision algorithm for resource-limited hardware is to improve the trade-off between speed and accuracy. In this chapter, we introduce both the hardware and software aspects of computer stereo vision for autonomous car systems. Then, we discuss four autonomous car perception tasks, including 1) visual feature detection, description and matching, 2) 3D information acquisition, 3) object detection/recognition and 4) semantic image segmentation. The principles of computer stereo vision and parallel computing on multi-threading CPU and GPU architectures are then detailed.

연구 동기 및 목표

• 자원 제약이 있는 자율주행 차량에서 스테레오 시각의 속도와 정확도를 균형 잡는 데 핵심적인 과제를 해결하기 위해.
• 카메라, 라이다, GPS/IMU 등의 하드웨어와 인식, 계획, 제어 등의 소프트웨어 구성 요소를 통합하여 통합된 자율주행차 시스템을 구축하기 위해.
• 다중 스레드 CPU와 GPU에서의 효율적 병렬 계산을 통해 임베디드 시스템에서 실시간 3D 인식을 가능하게 하기 위해.
• 이질적 컴퓨팅 플랫폼에서의 스테레오 시각 알고리즘과 그 구현 방식에 대한 체계적인 개요 제공하기 위해.

제안 방법

• 에피포라 기하학과 디스parity 계산을 통해 스테레오 카메라 쌍을 이용해 깊이 정보를 추출한다.
• CPU에서의 다중 스레딩을 위해 OpenMP를 활용하여 인식 파이프라인 내 순차적 처리 작업을 병렬화한다.
• CUDA C를 활용해 GPU 아키텍처를 활용하여 대규모 병렬 처리를 수행하며, 특히 컨volutional 신경망(CNN) 학습 및 추론에 적합하다.
• 스테레오 매칭 및 특징 추출에서 GPU 처리량을 극대화하기 위해 스트림 망원경(스트림 멀티프로세서, SMs)과 워프(32개의 스레드 그룹)를 적용한다.
• GPU 커널에서의 데이터 액세스 최적화 및 지연 감소를 위해 片상 메모리(공유, 레지스터, 상수, 텍스처)를 사용한다.
• 환경적 요건이 열악한 조건에서도 강건성을 향상시키기 위해 라이다, 레이더, GPS 및 IMU의 센서 융합을 적용한다.

실험 결과

연구 질문

• RQ1 임베디드 시스템에서 실시간 성능을 유지를 하면서도 높은 정확도를 확보할 수 있는 스테레오 시각의 구현 방법은 무엇인가?
• RQ2 다중 스레드 CPU와 GPU는 스테레오 시각 파이프라인의 가속화에 어떤 역할을 하는가?
• RQ3 카메라, 라이다, 레이더 등의 다양한 센서 모odalities는 자율주행에서 강건한 3D 인식에 어떻게 기여하는가?
• RQ4 스테레오 시각에서 속도-정확도 트레이드오프를 최적화하는 데 핵심이 되는 아키텍처적 및 알고리즘적 선택 사항은 무엇인가?
• RQ5 이질적 컴퓨팅(CPU + GPU)은 자율주행차 인식 작업에 효과적으로 어떻게 활용될 수 있는가?

주요 결과

• OpenMP를 통한 CPU 다중 스레딩과 CUDA를 통한 GPU 병렬 처리의 통합은 임베디드 시스템에서 스테레오 시각 알고리즘의 효율적 실행을 가능하게 한다.
• GPU 기반 처리 방식은 CNN 학습 및 디스파리티 계산과 같은 계산이 집약적인 작업을 크게 가속화하여 실시간 인식에 높은 처리량을 달성한다.
• 스테레오 시각은 정확한 3D 정보 확보를 가능하게 하며, 라이다 및 레이더의 센서 융합을 통해 성능이 향상된다.
• GPU에서의 片상 메모리(공유, 상수, 텍스처) 사용은 메모리 지연을 감소시키고 커널 효율성을 향상시킨다.
• 이 프레임워크는 시각적 특징 매칭, 3D 재구성, 객체 탐지, 의미 분할의 네 가지 핵심 인식 작업을 지원한다.
• 드라이브-바이-와이어 시스템과 센서 융합을 포함한 하드웨어-소프트웨어 공동 설계는 신뢰할 수 있는 자율주행차 제어 및 주행을 가능하게 한다.