[논문 리뷰] Deep Learning based Computer Vision Methods for Complex Traffic Environments Perception: A Review

Talha Azfar, Jinlong Li외 4명|arXiv (Cornell University)|2022. 11. 09.

Traffic Prediction and Management Techniques인용 수 7

한 줄 요약

이 논문은 지능형 교통 시스템 및 자율주행을 위한 딥러닝 기반 컴퓨터 비전 기법을 검토하며, 데이터, 모델 설계, 그리고 복잡한 도시 환경에서의 핵심 과제를 규명한다. 이는 이종 학습, 협업 인식, 엣지 컴퓨팅과 같은 실용적 해결책을 제안하며, 실제 도로 주행 환경에서 신뢰성 있게 구현되기 위해 강건하고 설명 가능하며 실시간 성능을 갖춘 모델의 필요성을 강조한다.

ABSTRACT

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

연구 동기 및 목표

• 실제 도로 주행 환경에서 딥러닝 기반 컴퓨터 비전을 구현하는 데 영향을 미치는 핵심 과제를 식별하고 분류하는 것.
• 모델 일반화와 실제 성능을 저해하는 데이터 수집, 레이블링, 편향, 개인정보 문제 등의 제약을 분석하는 것.
• 계산 복잡도, 설명 불가능성, 예상치 못한 시나리오로의 일반화 부족 등의 측면에서 딥러닝 모델의 한계를 평가하는 것.
• 가림, 가변 조도, 센서 고장, 이질적인 교통 등 환경적 요인들이 모델 신뢰성에 미치는 영향을 분석하는 것.
• 실제 구현에 초점을 맞춘 향후 연구 방향 제안, 예를 들어 이종 학습, 협업 인식, 엣지 컴퓨팅

제안 방법

• ITS 및 자율주행을 위한 컴퓨터 비전에서의 딥러닝에 관한 200편 이상의 논문을 종합적으로 검토한 문헌 리뷰를 수행하였다.
• 과제를 세 가지 범주로 분류: 데이터 관련(수집, 레이블링, 편향, 개인정보), 모델 관련(복잡도, 설명 불가능성, 검증 가능성), 환경 관련(가림, 조도 변화, 센서 고장).
• 교통 흐름 추정, 혼잡도 감지, 자율주행 차량 인식, 실시간 구현을 위한 엣지 컴퓨팅과 같은 대표적 응용 사례를 검토하였다.
• 모델 강건성과 일반화를 향상시키기 위해 도메인 적응, 소수 샘플 학습, 제로샷 학습, 비전 트랜스포머를 평가하였다.
• V2X 네트워크와 비전 트랜스포머를 활용한 협업 인식을 통해 연결된 자율주행 차량의 감지 성능을 향상시키는 방식을 탐구하였다.
• 향후 연구 방향으로 온라인 학습, 다중 소스 데이터 융합, 적응형 특징 집계를 제안하여 다중 객체 추적 및 이상 탐지 성능 향상을 도모하였다.

Figure 1: Applications of deep learning based computer vision methods in transportation and associated challenges in real world deployment.

실험 결과

연구 질문

• RQ1 실제 도로 주행 환경에서 딥러닝 모델의 구현에 영향을 미치는 주요 데이터 관련 과제는 무엇인가?
• RQ2 모델 복잡도, 설명 불가능성, 일반화 부족이 ITS 및 자율주행 분야에서 딥러닝의 실용적 활용을 어떻게 제한하는가?
• RQ3 가림, 가변 조도, 센서 고장과 같은 복잡한 도시 환경 요소들이 모델 성능에 어떤 방식으로 악영향을 미치는가?
• RQ4 예상치 못한 또는 드문 교통 시나리오에서 모델의 강건성과 일반화를 향상시키기 위해 어떤 기법이 유용한가?
• RQ5 협업 인식과 엣지 컴퓨팅은 복잡한 도로 환경에서 실시간으로 안정적인 인식을 어떻게 향상시킬 수 있는가?

주요 결과

• 데이터 과제로는 고용량 데이터 수집, 편향되거나 과도하게 표현된 클래스, 시간이 오래 소요되는 레이블링, 개인정보 우려 등이 있으며, 이는 모델의 일반화를 저해한다.
• 딥러닝 모델는 높은 계산 복잡도, 설명 불가능성, 실제 환경에서의 테스트 어려움으로 인해 일반적으로 구현이 제한된다.
• 가림, 비정상적인 조도, 카메라 불안정성과 같은 환경적 요인은 다양한 조건에서 훈련한 후에도 성능 저하를 야기한다.
• 이종 학습, 도메인 적응, 소수 샘플 학습과 같은 기법은 드문 또는 예상치 못한 시나리오에서의 모델 성능 향상에 유망한 것으로 나타났다.
• V2X와 비전 트랜스포머를 활용한 협업 인식은 다중 시야 데이터 융합을 통해 강건성을 향상시키며, 가림과 조도 문제를 줄인다.
• 향후 구현은 엣지 컴퓨팅, 온라인 학습, 다중 소스 데이터 융합을 통해 실시간 적응과 이상 탐지 향상을 가능하게 할 것이다.

Figure 2: Illustration of representative challenges associated with data in computer vision applications for transportation.