[논문 리뷰] FisheyeMultiNet: Real-time Multi-task Learning Architecture for Surround-view Automated Parking System

Pullarao Maddu, Wayne Doherty외 8명|arXiv (Cornell University)|2019. 12. 23.

Smart Parking Systems Research참고 문헌 22인용 수 8

한 줄 요약

FisheyeMultiNet은 네 대의 피시아 카메라를 사용한 실시간, 다중 작업 딥러닝 아키텍처로, 서라운드 뷰 자동 주차 시스템을 위한 것이다. 이는 저전력 임베디드 시스템에서 15 fps로 객체 검출, 세분화, 오염도 검출을 동시에 수행하며, 단일 작업 성능에 근접한 성능을 달성하면서도 계산 효율성이 뛰어나며, 연구를 위해 5,000장의 공개 데이터셋을 제공한다.

ABSTRACT

Automated Parking is a low speed manoeuvring scenario which is quite unstructured and complex, requiring full 360° near-field sensing around the vehicle. In this paper, we discuss the design and implementation of an automated parking system from the perspective of camera based deep learning algorithms. We provide a holistic overview of an industrial system covering the embedded system, use cases and the deep learning architecture. We demonstrate a real-time multi-task deep learning network called FisheyeMultiNet, which detects all the necessary objects for parking on a low-power embedded system. FisheyeMultiNet runs at 15 fps for 4 cameras and it has three tasks namely object detection, semantic segmentation and soiling detection. To encourage further research, we release a partial dataset of 5,000 images containing semantic segmentation and bounding box detection ground truth via WoodScape project \cite{yogamani2019woodscape}.

연구 동기 및 목표

• 피시아 카메라를 사용한 실시간, 임베디드 다중 작업 딥러닝 시스템을 개발하는 것.
• 비정형 주차 환경에서 360도 근접 영역 인식을 위한 저전력 실시간 추론 문제를 해결하는 것.
• 통합된 시각 인식을 통해 평행, 수직, 모호한 주차 시나리오에서의 내구성과 정확도를 향상시키는 것.
• 자동 주차 분야의 연구를 촉진하기 위해 세분화 및 바운딩 박스 주석이 있는 5,000장의 피시아 이미지 데이터셋을 공개하는 것.
• 다중 작업 학습이 메모리 및 계산 효율성 측면에서 상당한 향상을 이룰 수 있음을 보여주는 것.

제안 방법

• 피시아 카메라 입력에 대해 객체 검출, 세분화, 오염도 검출을 동시에 수행하는 통합된 딥 네트워크 아키텍처를 설계한다.
• 기울기 크기를 기반으로 동적 작업 가중치를 적용한 가중치가 부여된 다중 작업 손실 함수를 사용하여 작업 간 손실 척도의 불균형을 보완한다 (GradNorm를 영감으로 삼음).
• 채널 감소, 최소화된 스킵 연결, 수평선 제한된 세분화 디코딩을 통해 메모리 및 계산 부담을 줄여 임베디드 배포 최적화를 수행한다.
• 세계 각지의 3개 지역과 다양한 차량 유형(세단 및 SUV)에서 수집한 10,000장의 내부 데이터셋을 6:1:3 비율로 분할하여 모델을 훈련시킨다.
• 메모리 제약을 충족시키면서 성능을 유지하기 위해 Keras를 사용하고 입력 해상도를 1280×384로 설정한다.
• WoodScape 프로젝트를 통해 세분화 및 객체 검출에 대한 진짜 주석이 포함된 5,000장의 이미지 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 하나의 딥러닝 모델이 저전력 임베디드 하드웨어에서 실시간으로 객체 검출, 세분화, 오염도 검출과 같은 여러 인식 작업을 동시에 효과적으로 수행할 수 있는가?
• RQ2 단일 작업 네트워크와 비교했을 때 다중 작업 학습이 자동 주차 인식의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 임베디드 비전 시스템을 위한 다중 작업 네트워크에서 메모리 및 계산 부담을 줄이는 데 가장 효과적인 아키텍처 및 최적화 전략은 무엇인가?
• RQ4 공유 백본이 피시아 카메라를 사용한 360도 주차 인식에서 성능과 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 기울기 크기를 기반으로 한 동적 손실 가중치는 이질적인 인식 작업을 위한 다중 작업 학습에서 수렴성과 성능을 어떻게 향상시키는가?

주요 결과

• FisheyeMultiNet은 자동차용 저전력 시스템온칩을 사용하여 네 대의 피시아 카메라에서 15 fps의 추론 성능을 달성한다.
• 다중 작업 학습(MTL) 모델은 세분화에 대해 평균 교차율(mIoU) 0.7263을 기록하였으며, 단일 작업 학습(STL)의 0.7350과 비교해 정확도가 약간 낮은 것으로 나타났다.
• 객체 검출에 있어서 MTL 모델은 평균 평균 정확도(mAP) 0.4814를 달성하였으며, 단일 작업 기준선인 0.4737보다 略로 높았다.
• w_seg = 100인 가중 손실을 사용함으로써 모든 데이터셋에서 세분화 성능이 크게 향상되었으며, 손실 정규화의 중요성을 입증하였다.
• 채널 감소 및 수평선 제한된 세분화와 같은 아키텍처 최적화를 통해 메모리 및 계산 부담을 감소시켜 실시간 배포를 가능하게 하였다.
• 저자들은 세분화 및 바운딩 박스 주석이 포함된 5,000장의 공개 데이터셋을 공개하였으며, 이는 자동 주차 분야에서 첫 번째로 공개된 데이터셋이다.