[논문 리뷰] Scene Understanding Networks for Autonomous Driving based on Around View Monitoring System

JeongYeol Baek, Ioana Veronica Chelu외 8명|arXiv (Cornell University)|2018. 05. 18.

Advanced Neural Network Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 피시아이 카메라를 사용하는 Around View Monitoring (AVM) 시스템만을 활용하여 자율주행 환경 이해를 위한 통합형 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 객체 검출, 경계선 검출, 주행 가능한 영역 세그먼테이션, 바닥점 추정을 통한 가장 가까운 장애물까지의 거리 추정을 동시에 수행하며, 임베디드 TX2 플랫폼에서 높은 정확도와 낮은 복잡도로 16.7 fps를 달성한다.

ABSTRACT

Modern driver assistance systems rely on a wide range of sensors (RADAR, LIDAR, ultrasound and cameras) for scene understanding and prediction. These sensors are typically used for detecting traffic participants and scene elements required for navigation. In this paper we argue that relying on camera based systems, specifically Around View Monitoring (AVM) system has great potential to achieve these goals in both parking and driving modes with decreased costs. The contributions of this paper are as follows: we present a new end-to-end solution for delimiting the safe drivable area for each frame by means of identifying the closest obstacle in each direction from the driving vehicle, we use this approach to calculate the distance to the nearest obstacles and we incorporate it into a unified end-to-end architecture capable of joint object detection, curb detection and safe drivable area detection. Furthermore, we describe the family of networks for both a high accuracy solution and a low complexity solution. We also introduce further augmentation of the base architecture with 3D object detection.

연구 동기 및 목표

• 자율주행에서 LIDAR 및 다중 센서 융합의 높은 비용 문제를 카메라 기반 시스템만을 활용하여 해결한다.
• 피시아이 카메라를 활용한 Around View Monitoring (AVM) 시스템을 통해 주차 및 주행 모드에서의 환경 이해 능력을 향상시킨다.
• 객체 검출, 경계선 검출, 주행 가능한 영역 세그먼테이션, 장애물 거리 추정을 동시에 수행하는 통합형 엔드 투 엔드 딥 러닝 아키텍처를 개발한다.
• TX2 플랫폼에서 정확도, 추론 속도(16.7 fps), 모델 크기의 균형을 고려하여 임베디드 환경에 최적화된 아키텍처를 설계한다.
• 정확도가 높은 변종으로서 3D 객체 검출을 통한 자세 및 치수 추정 기능을 통합한다.

제안 방법

• 360도 AVM 시스템의 피시아이 카메라 입력을 활용하여 차량 주변의 광범위한 시야를 확보한다.
• 차량의 각 방향에서 가장 가까운 장애물을 식별하기 위해 바닥점 추정 기법을 제안함으로써 정밀한 거리 추정을 가능하게 한다.
• 공유 인코더(MobileNet, 깊이 배율 0.5)와 각 작업에 특화된 헤드를 갖춘 통합형 다중 작업 네트워크(Unified-Net)를 설계한다.
• 효율적인 2차원 객체 검출을 위해 앵커 박스를 활용한 단일 스풍 탐지( SSD )를 적용하고, 특징 맵 융합을 통해 다중 해상도 검출을 구현한다.
• Inception-ResNet-V2 인코더와 밀도 높은 업샘플링(HDUC)을 활용한 정확도가 높은 3D-Net 변종을 제안하여 3D 객체 자세 및 치수 예측 기능을 제공한다.
• 추론 속도와 정확도를 최적화하기 위해 아키텍처 분석 실험을 수행하였으며, 이는 인코더 크기, 입력 해상도, Unified-Net 내 분기 레이어 선택을 포함한다.

실험 결과

연구 질문

• RQ1 카메라 기반의 AVM 시스템만으로도 다중 센서 시스템과 유사한 신뢰성 있는 환경 이해 성능을 달성할 수 있는가?
• RQ2 피시아이 이미지에서의 바닥점 추정 기법이 기존 세그먼테이션 또는 검출 기법에 비해 장애물 거리 및 주행 가능한 영역 검출 성능을 어떻게 향상시킬 수 있는가?
• RQ3 TX2와 같은 임베디드 플랫폼에 통합 인식 네트워크를 구현할 때 정확도와 추론 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 실시간 성능을 손상시키지 않으면서도 경량 엔드 투 엔드 아키텍처에 3D 객체 검출(자세 및 치수)을 효과적으로 통합할 수 있는가?
• RQ5 인코더 선택, 입력 해상도, 분기 레이어 등의 아키텍처 설계 요소가 다중 작업 인식 네트워크 성능에 어떤 영향을 미치는가?

주요 결과

• 통합형 저복잡도 솔루션은 Nvidia TX2 임베디드 플랫폼에서 16.7 fps의 성능을 달성하여 자율주행의 실시간 요구 조건을 충족시킨다.
• 가장 우수한 성능을 보인 Unified-Net 아키텍처는 'conv5' 레이어에서 분기되며, 거리 추정의 경우 2.77 MAE, 객체 검출의 경우 0.55 mAP의 성능을 기록한다.
• MobileNet 인코더에 깊이 배율 0.5를 적용하고 SSD 디코더를 사용할 경우 저복잡도 솔루션에서 정확도와 속도 사이의 최적의 균형을 확보할 수 있다.
• 정확도가 높은 3D-Net 변종은 *-cycle 클래스에서 자세 예측의 평균 절대 오차(MAE)가 4.09°이며, Z-치수 예측의 경우 0.132m의 MAE를 기록한다.
• 분석 실험 결과, 입력 해상도를 전체 해상도에서 640x360으로 줄일 경우 정확도는 감소하지만 추론 속도는 증가하며, 960x540 해상도에서 정확도와 속도 사이의 양호한 균형을 확보할 수 있다.
• Inception-ResNet-V2 인코더와 HDUC 디코더 조합은 바닥점 추정에서 가장 낮은 MAE(3.7)를 기록하여 FCN-A 및 FCN-B 변종보다 뛰어난 성능을 보였다.