[논문 리뷰] Spatial-Temporal Map Vehicle Trajectory Detection Using Dynamic Mode Decomposition and Res-UNet+ Neural Networks

Tianya Zhang, Peter J. Jin|arXiv (Cornell University)|2022. 01. 13.

Anomaly Detection Techniques and Applications참고 문헌 60인용 수 4

한 줄 요약

이 논문은 고각도 교통 카메라 영상에서 동적 모드 분해(DMD)를 사용하여 공간-시간 맵(STMap)를 전경(차량)과 배경(경관)으로 분리하고, 맞춤형 Res-UNet+ 딥 뉴럴 네트워크를 결합하여 차량 궤적 검출을 위한 새로운 방법을 제안한다. 이 방법은 이전 방법에 비해 높은 정확도와 강건성을 확보하여 교통 흐름 연구를 위한 청소된 고품질 궤적 데이터를 생산한다.

ABSTRACT

This paper presents a machine-learning-enhanced longitudinal scanline method to extract vehicle trajectories from high-angle traffic cameras. The Dynamic Mode Decomposition (DMD) method is applied to extract vehicle strands by decomposing the Spatial-Temporal Map (STMap) into the sparse foreground and low-rank background. A deep neural network named Res-UNet+ was designed for the semantic segmentation task by adapting two prevalent deep learning architectures. The Res-UNet+ neural networks significantly improve the performance of the STMap-based vehicle detection, and the DMD model provides many interesting insights for understanding the evolution of underlying spatial-temporal structures preserved by STMap. The model outputs were compared with the previous image processing model and mainstream semantic segmentation deep neural networks. After a thorough evaluation, the model is proved to be accurate and robust against many challenging factors. Last but not least, this paper fundamentally addressed many quality issues found in NGSIM trajectory data. The cleaned high-quality trajectory data are published to support future theoretical and modeling research on traffic flow and microscopic vehicle control. This method is a reliable solution for video-based trajectory extraction and has wide applicability.

연구 동기 및 목표

• 복잡한 조건에서 고각도 교통 카메라 영상에서 정확한 차량 궤적을 추출하는 데 도전하는 것.
• 공간-시간 맵(STMap)에서 차량을 분할하는 데 있어 기존의 이미지 처리 및 딥 러닝 모델을 향상시키는 것.
• DMD를 활용해 STMap 내에서 정적 배경 구조에서 동적인 차량 스트랜드를 분리하는 것.
• STMap 기반 차량 분할에 특화된 전용 딥 뉴럴 네트워크인 Res-UNet+를 개발하는 것.
• 향후 교통 흐름 모델링 및 마이크로스코픽 차량 제어 연구를 지원할 수 있는 청소된 고품질 궤적 데이터셋을 생성하는 것.

제안 방법

• 공간-시간 맵(STMap)를 저질서 배경과 희소 전경 성분으로 분해하기 위해 동적 모드 분해(DMD)가 적용되어 차량 운동 패턴을 분리한다.
• ResNet과 U-Net 아키텍처를 변형하여 STMap 데이터에서 특징 학습과 분할 정밀도를 향상시킬 수 있도록 수정된 Res-UNet+ 아키텍처가 설계된다.
• Res-UNet+ 모델은 DMD 처리된 STMap에 대해 의미 분할을 수행하여 차량 궤적을 검출하고 추적한다.
• DMD의 구조적 분해와 딥 러닝의 통합을 통해 노이즈, 가림, 다양한 조명 조건에 대한 강건성을 향상시킨다.
• 영상 프레임을 STMap 표현으로 변환하고, DMD를 통해 배경 제거를 수행한 후, 최종 차량 인스턴스 분할을 위해 Res-UNet+를 사용하는 파이프라인을 구축한다.
• 최종 출력은 지상 진실 및 기존 모델과의 검증을 거친 고정확도의 청소된 차량 궤적 집합이다.

실험 결과

연구 질문

• RQ1 DMD는 교통 카메라 영상의 STMap 표현에서 정적 배경에서 동적인 차량 운동을 효과적으로 분리할 수 있는가?
• RQ2 제안된 Res-UNet+ 모델은 STMap에서 차량을 검출하는 데 있어 주류 의미 분할 네트워크와 비교해 어떤가?
• RQ3 실제 환경의 과제인 가림, 저대비 조건 등에 대해 DMD-Res-UNet+ 프레임워크는 궤적 검출 정확도를 어느 정도 향상시키는가?
• RQ4 이 방법은 교통 흐름 모델링 및 마이크로스코픽 제어 연구에 적합한 고품질의 청소된 궤적 데이터를 생성할 수 있는가?
• RQ5 DMD는 교통 내 차량 이동의 잠재적 공간-시간 역학에 대해 어떤 통찰을 제공하는가?

주요 결과

• DMD 기반 사전 처리로 STMap 내 신호 대 잡음 비율이 크게 향상되어 차량 스트랜드의 명확한 추출이 가능해졌다.
• Res-UNet+ 모델은 전통적 이미지 처리 기법과 주류 딥 러닝 모델을 모두 초월하여 STMap에서의 차량 분할 정확도에서 뛰어난 성능을 보였다.
• 부분적 가림, 다양한 조명 조건, 높은 차량 밀도와 같은 어려운 조건에서도 강건한 성능을 입증했다.
• 최종 궤적 출력 결과는 기존의 NGSIM 데이터에 비해 오차가 크게 감소하여 오랫동안 지속된 품질 문제를 해결했다.
• 청소된 궤적 데이터셋은 공개되어 향후 교통 역학 및 차량 제어 연구를 지원한다.
• DMD와 딥 러닝의 통합은 공간-시간 교통 구조의 진화 과정에 대한 해석 가능한 통찰을 제공한다.