[논문 리뷰] An intelligent modular real-time vision-based system for environment perception

Amirhossein Kazerouni, Amirhossein Heydarian Ardakani외 4명|arXiv (Cornell University)|2023. 03. 29.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 YOLOv5, PINet, SGDepth를 사용하여 실시간으로 주행 보조를 위한 모듈형 비전 시스템을 제안한다. 이 시스템은 최적화된 딥러닝 모델을 사용해 차선 검출, 물체 검출, 의미 세분화, 단안 깊이 추정을 통합한다. 자체 수집한 데이터셋과 BDD100K에 대해 미세조정된 모델을 통해 모든 모듈에서 80% 이상의 정확도를 달성하고, 실시간으로 작동하며 운전자 경고를 위한 반응성 있는 GUI를 제공하여 완전 자율 주행 시스템에 비해 저비용 대안을 제공한다.

ABSTRACT

A significant portion of driving hazards is caused by human error and disregard for local driving regulations; Consequently, an intelligent assistance system can be beneficial. This paper proposes a novel vision-based modular package to ensure drivers' safety by perceiving the environment. Each module is designed based on accuracy and inference time to deliver real-time performance. As a result, the proposed system can be implemented on a wide range of vehicles with minimum hardware requirements. Our modular package comprises four main sections: lane detection, object detection, segmentation, and monocular depth estimation. Each section is accompanied by novel techniques to improve the accuracy of others along with the entire system. Furthermore, a GUI is developed to display perceived information to the driver. In addition to using public datasets, like BDD100K, we have also collected and annotated a local dataset that we utilize to fine-tune and evaluate our system. We show that the accuracy of our system is above 80% in all the sections. Our code and data are available at https://github.com/Pandas-Team/Autonomous-Vehicle-Environment-Perception

연구 동기 및 목표

• 운전자 실수와 교통 법규 위반으로 인한 사고를 줄이기 위해 운전자에게 실시간 환경 인식을 제공함으로써 운전 안전을 향상시키는 것.
• 다양한 주행 조건에서 높은 정확도를 유지하면서 저비용 하드웨어에서 효율적으로 작동하는 경량이고 모듈형 시스템을 개발하는 것.
• 차선 검출, 물체 검출, 세분화, 깊이 추정과 같은 다중 인식 작업을 통합된 실시간 파이프라인으로 통합하는 것.
• 환경 흐림, 차선 가림, 도로 표시 없음 등의 어려운 상황에서 동적 ROI 및 미세조정을 통해 모델의 강건성을 향상시키는 것.
• 운전자 경고를 위한 GUI를 통해 교통 표지 상태, 장애물까지의 거리, 신호등 정보를 실시간으로 제공하는 것.

제안 방법

• BDD100K와 새로 수집한 현지 데이터셋의 조합으로 미세조정된 PINet을 사용해 차선 검출을 수행하며, 선이 없는 또는 가림을 받는 상황에서도 성능 향상을 도모한다.
• 실시간 물체 검출을 위해 YOLOv5를 사용하며, 차량, 보행자, 15종의 교통 표지 검출에 최적화되어 현지 데이터셋에서 속도와 mAP 측면에서 뛰어난 성능을 발휘한다.
• SGDepth를 도입해 의미 세분화와 단안 깊이 추정을 동시에 수행하며, 보도 경계 정확한 검출과 정확한 거리 측정을 가능하게 한다.
• 깊이 맵과 세분화 출력을 기반으로 근처 차량까지 정확한 거리를 계산하는 새로운 계층적 방법을 제안한다.
• 환경적 요동 상황에서 PINet 예측의 안정성 향상과 오진 억제를 위해 동적 관심 영역(ROI) 메커니즘을 적용한다.
• 검출된 물체, 차선 위치, 신호등 상태, 장애물까지의 거리 등을 실시간으로 시각화해 운전자에게 즉각적인 피드백을 제공하는 실시간 GUI를 개발한다.

Figure 1: Overview of the proposed system. Continuous lines represent system modules’ main data path, and dashed lines denote the additional data, which aids in the accuracy of the system.

실험 결과

연구 질문

• RQ1 차선 검출, 물체 검출, 세분화, 깊이 추정을 통합한 모듈형 실시간 비전 시스템이 최소한의 하드웨어 요구 사항으로 운전 안전을 크게 향상시킬 수 있는가?
• RQ2 자체 데이터셋으로 미세조정된 PINet이 표준 사전 훈련된 모델 대비 저조도 또는 선이 없는 도로 조건에서 성능 향상이 얼마나 이루어지는가?
• RQ3 SGDepth와 같이 다중 작업 모델을 사용할 경우, 독립된 모델 대비 세분화 및 깊이 추정 정확도 향상 정도는 어느 정도인가?
• RQ4 단일 실시간 파이프라인에 다수의 딥러닝 모델을 통합할 경우, 추론 속도와 정확도 사이의 상충 관계는 어떻게 나타나는가?
• RQ5 제안된 GUI는 운전자에게 중요한 환경 정보를 적시에 행동 가능한 방식으로 효과적으로 전달하는가?

주요 결과

• 시스템은 BDD100K와 자체 수집한 현지 데이터셋 양쪽에서 차선 검출, 물체 검출, 세분화, 깊이 추정의 모든 4개 모듈에서 80% 이상의 정확도를 달성한다.
• YOLOv5는 현지 데이터셋에서 다른 최신 기술 대비 뛰어난 성능을 보이며, mAP 96.01%와 90.9 FPS를 기록해 실시간 성능에 최적임을 입증한다.
• 현지 데이터셋으로 미세조정된 PINet는 낮은 FPS에도 불구하고, CondLaneNet과 CLRNet 대비 저조도 및 가림 상황에서 뛰어난 강건성을 보여준다.
• 동적 ROI 메커니즘이 PINet의 안정성과 정확도를 크게 향상시켜 차선 검출에서 오진 억제에 기여한다.
• SGDepth 출력 기반의 계층적 거리 계산 방법을 통해 주변 차량까지의 정확한 실시간 거리 추정이 고신뢰도로 가능해졌다.
• 모든 모듈이 활성화된 상태에서도 시스템은 실시간 성능을 유지하며(30 FPS 이상), 희소한 프레임 드롭 외에는 거의 문제가 없어 실용적 타당성이 높음을 입증한다.

Figure 2: The overview of PINet [ 31 ] .