[논문 리뷰] NeurAll: Towards a Unified Model for Visual Perception in Automated Driving

Ganesh Sistu, Isabelle Leang외 5명|arXiv (Cornell University)|2019. 02. 10.

Advanced Neural Network Applications참고 문헌 44인용 수 14

한 줄 요약

이 논문은 시각적 인식 작업인 객체 검출, 깊이 추정, 운동 추정을 함께 학습하기 위해 초기 합성곱 특징을 공유하는 통합 다중 작업 CNN 아키텍처인 NeurAll을 제안한다. 다중 스트림 및 보조 학습을 활용함으로써 단일 작업 네트워크보다 정확도와 계산 효율성이 향상되면서도 컴act한 크기를 유지한다.

ABSTRACT

Convolutional Neural Networks (CNNs) are successfully used for the important automotive visual perception tasks including object recognition, motion and depth estimation, visual SLAM, etc. However, these tasks are typically independently explored and modeled. In this paper, we propose a joint multi-task network design for learning several tasks simultaneously. Our main motivation is the computational efficiency achieved by sharing the expensive initial convolutional layers between all tasks. Indeed, the main bottleneck in automated driving systems is the limited processing power available on deployment hardware. There is also some evidence for other benefits in improving accuracy for some tasks and easing development effort. It also offers scalability to add more tasks leveraging existing features and achieving better generalization. We survey various CNN based solutions for visual perception tasks in automated driving. Then we propose a unified CNN model for the important tasks and discuss several advanced optimization and architecture design techniques to improve the baseline model. The paper is partly review and partly positional with demonstration of several preliminary results promising for future research. We first demonstrate results of multi-stream learning and auxiliary learning which are important ingredients to scale to a large multi-task model. Finally, we implement a two-stream three-task network which performs better in many cases compared to their corresponding single-task models, while maintaining network size.

연구 동기 및 목표

• 다중 시각적 인식 작업을 하나의 공유 모델로 통합함으로써 자율주행 시스템의 계산 병목 현상을 해결하기 위해.
• 작업 간 고비용의 초기 합성곱 계층을 공유함으로써 정확도와 확장성을 향상시키기 위해.
• 객체 검출, 깊이 추정, 운동 추정을 공동으로 학습함으로써 개발 노력 감소와 일반화 능력 향상을 위해.
• 대규모 다중 작업 모델로의 확장에 적합한 최적화 및 아키텍처 기법을 탐색하기 위해.
• 세 가지 작업 설정에서의 실증적 평가를 통해 통합 프레임워크의 실현 가능성과 이점을 입증하기 위해.

제안 방법

• 객체 검출, 깊이 추정, 운동 추정 간에 초기 합성곱 특징을 공유하는 이중 스트림, 세 가지 작업 CNN 아키텍처를 설계하기 위해.
• 다양한 작업을 전용 브랜치로 처리하면서도 초기 특징 표현을 공유하는 다중 스트림 학습을 구현하기 위해.
• 작업 간 특징 학습과 모델 최적화를 향상시키기 위해 보조 학습 헤드를 도입하기 위해.
• 다중 작업 설정에서의 훈련 안정성과 수렴 성능 향상을 위해 고급 최적화 기법을 적용하기 위해.
• 성능 유지와 함께 모델 크기와 계산 비용을 줄이기 위해 공유 백본을 사용하기 위해.
• 정확도와 효율성의 상호 관계를 평가하기 위해 단일 작업 베이스라인과 통합 모델을 대조 평가하기 위해.

실험 결과

연구 질문

• RQ1 통합 CNN 모델이 자율주행 환경에서 동시에 여러 시각적 인식 작업을 효과적으로 학습할 수 있는가?
• RQ2 작업 간에 초기 합성곱 특징을 공유하면 계산 효율성과 모델 성능이 향상되는가?
• RQ3 다중 스트림 및 보조 학습 기법이 다중 작업 설정에서 특징 표현과 일반화 능력을 어떻게 향상시키는가?
• RQ4 통합 모델이 정확도와 추론 효율성 측면에서 단일 작업 모델보다 어느 정도 뛰어나게 성능을 내는가?
• RQ5 추가적인 인식 작업을 추가로 포함하기 위해 통합 아키텍처를 얼마나 쉽게 확장할 수 있는가?

주요 결과

• 제안된 NeurAll 모델은 단일 작업 모델보다 객체 검출, 깊이 추정, 운동 추정에서 더 뛰어난 성능을 달성한다.
• 다중 스트림 및 보조 학습 기법이 다중 작업 설정에서 특징 학습과 모델 안정성에 크게 기여한다.
• 통합 아키텍처는 성능을 유지하면서도 작고 컴act한 네트워크 크기를 유지한다.
• 공유된 초기 합성곱 계층은 계산 오버헤드를 줄여 배포 하드웨어에서의 주요 병목 현상을 해결한다.
• 초기 결과는 추가 작업으로의 확장에서 확장성과 일반화 이점을 입증한다.
• 효율성과 정확도 향상 덕분에 실세계 배포 가능성에 있어 희망을 보인다.