[논문 리뷰] Real-time Detection, Tracking, and Classification of Moving and Stationary Objects using Multiple Fisheye Images

Iljoo Baek, Albert Davies외 3명|arXiv (Cornell University)|2018. 03. 16.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 6

한 줄 요약

이 논문은 차량에 장착된 네 대의 피시아 카메라를 사용하여 이동 중이거나 정지한 물체를 실시간으로 감지, 추적 및 분류하는 시스템을 제시한다. 피시아 영상 스트림을 하나의 스트림으로 통합하고, CPU 기반 운동 감지와 GPU 가속을 통한 딥러닝을 활용함으로써, 이미지의 편향 보정 없이도 실제 하드웨어에서 15 fps를 달성하며 정밀도 81.1%와 재현율 60.5%의 성능을 보이며, 도시 환경에서 저속 자율 주행을 안전하게 구현한다. 이는 고성능 계산 부하 없이도 가능하다.

ABSTRACT

The ability to detect pedestrians and other moving objects is crucial for an autonomous vehicle. This must be done in real-time with minimum system overhead. This paper discusses the implementation of a surround view system to identify moving as well as static objects that are close to the ego vehicle. The algorithm works on 4 views captured by fisheye cameras which are merged into a single frame. The moving object detection and tracking solution uses minimal system overhead to isolate regions of interest (ROIs) containing moving objects. These ROIs are then analyzed using a deep neural network (DNN) to categorize the moving object. With deployment and testing on a real car in urban environments, we have demonstrated the practical feasibility of the solution. The video demos of our algorithm have been uploaded to Youtube: https://youtu.be/vpoCfC724iA, https://youtu.be/2X4aqH2bMBs

연구 동기 및 목표

• 도시 환경에서 자율 주행 차량 주변의 이동 및 정지 물체를 실시간으로 감지하고 분류하는 것.
• 이미지의 편향 보정을 피하고 병합된 피시아 영상 스트림을 CPU 및 GPU에서 직접 처리함으로써 시스템 오버헤드를 최소화하는 것.
• 사전 정의된 관심 영역 내에서 신뢰할 수 있는 장애물 감지를 통해 저속 자율 주행을 지원하는 것.
• 기존 자율 주행 플랫폼에 쉽게 통합할 수 있는 모듈식 시스템을 개발하는 것.
• 다양한 플랫폼(x86, TI TDA2X, NVIDIA TX2)과 실제 도로 테스트를 통해 성능을 평가하는 것.

제안 방법

• 처리 복잡도를 줄이기 위해 네 대의 피시아 카메라 스트림을 하나의 비디오 시퀀스로 통합한다.
• 광학 흐름을 통한 CPU 기반 운동 감지로 이동 물체를 식별하고 운동 벡터를 생성한다.
• 운동 벡터 데이터를 기반으로 사전 정의된 관심 영역(ROIs)을 적용하여 처리를 관련 영역으로 국한시킨다.
• 운동이 멈춘 경우에도 물체 존재를 유지하는 추적 모듈을 도입하여 가짜 음성 결과를 줄인다.
• ROIs 내 물체의 실시간 분류를 위해 GPU 가속을 지원하는 MobileNet_v1_1.0_224 모델을 사용한다.
• NVIDIA TX2에서의 영역 간 데이터 전송 지연을 최소화하기 위해 제로 코피 메모리를 활용한다.

실험 결과

연구 질문

• RQ1 편향 보정 없이도 원시 피시아 영상에서 실시간 물체 감지 및 분류 시스템을 구축할 수 있는가?
• RQ2 저속 자율 주행 환경에서 높은 감지 정확도를 유지하면서도 계산 오버헤드를 최소화할 수 있는가?
• RQ3 추적 모듈을 추가함으로써 정밀도 감소를 감수하면서도 재현율 향상 정도는 어느 정도인가?
• RQ4 피시아 영상에서 높은 왜곡이 발생하는 경우, MobileNet은 Faster R-CNN 대비 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 모듈식 아키텍처는 계산 능력이 상이한 실제 차량 플랫폼에 효과적으로 배포되고 평가될 수 있는가?

주요 결과

• MobileNet_v1_1.0_224 모델을 사용하여 실제 차량 하드웨어에서 15 fps를 달성하여 실시간 요구 조건을 충족시켰다.
• 추적 모듈 추가로 재현율이 낮은 수준에서 60.5%로 향상되었지만, 정지 물체에서의 가짜 양성 결과로 인해 정밀도는 81.1%로 감소했다.
• 피시아 영상에서 가장 왜곡이 심한 영역(모서리)에서의 감지 성능이 열악하여 Faster R-CNN는 정밀도가 60.5%로 크게 낮아졌다.
• NVIDIA TX2에서 제로 코피 메모리 사용으로 데이터 전송 지연이 감소하여 종단 간 성능 향상이 이루어졌다.
• 모듈식 설계 덕분에 감지, 추적, 분류 모듈 간 성능 분석과 통합이 용이하게 되었다.
• x86, TI TDA2X, NVIDIA TX2 플랫폼에서 일관된 성능을 보이며 실제 도시 환경에서의 실현 가능성을 입증했다.