[논문 리뷰] DriftNet: Aggressive Driving Behavior Classification using 3D EfficientNet Architecture

Alam Noor, Bilel Benjdira외 2명|arXiv (Cornell University)|2020. 04. 18.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 3D EfficientNet 기반의 딥러닝 모델인 DriftNet을 제안한다. 이 모델은 영상 시퀀스에서 과도한 주행 행동(자동차 드리ft)을 탐지하기 위해 설계되었다. 2D EfficientNet 아키텍처를 3D 영상 입력에 맞게 확장하고, 새로 수집한 사우디 아라비아의 드리프트 영상 데이터셋을 기반으로 전이 학습을 적용함으로써 DriftNet는 단지 469만 개의 파라미터로도 검증 정확도 92.5%를 달성하였으며, C3D, ConvLSTM, DenseNet보다 정확도와 파라미터 효율성 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Aggressive driving (i.e., car drifting) is a dangerous behavior that puts human safety and life into a significant risk. This behavior is considered as an anomaly concerning the regular traffic in public transportation roads. Recent techniques in deep learning proposed new approaches for anomaly detection in different contexts such as pedestrian monitoring, street fighting, and threat detection. In this paper, we propose a new anomaly detection framework applied to the detection of aggressive driving behavior. Our contribution consists in the development of a 3D neural network architecture, based on the state-of-the-art EfficientNet 2D image classifier, for the aggressive driving detection in videos. We propose an EfficientNet3D CNN feature extractor for video analysis, and we compare it with existing feature extractors. We also created a dataset of car drifting in Saudi Arabian context https://www.youtube.com/watch?v=vLzgye1-d1k . To the best of our knowledge, this is the first work that addresses the problem of aggressive driving behavior using deep learning.

연구 동기 및 목표

• 실세계 영상 데이터에서 자동차 드리프트와 같은 공격적인 주행 행동을 탐지하기 위한 딥러닝 기반 솔루션이 부족한 문제를 해결하기 위해.
• 영상 기반 이상 탐지에 최적화된 고효율성과 낮은 파라미터 수를 갖춘 3D 컨볼루션 신경망 아키텍처를 개발하기 위해.
• 향후 연구를 지원하기 위해 사우디 아라비아 도로에서 수집한 새로운 오픈소스 드리프트 영상 데이터셋을 구축하고 공개하기 위해.
• 3D EfficientNet 프레임워크 내에서 복합 스케일링과 전이 학습을 통해 C3D, ConvLSTM, DenseNet과 같은 기존 모델보다 탐지 성능을 향상시키기 위해.
• 도시 교통 모니터링 응용 분야에서 실시간으로 자원 효율적인 배포가 가능한 공격적인 주행 탐지 시스템을 가능하게 하기 위해.

제안 방법

• 저자들은 2D EfficientNet 백본을 시간적 영상 클립을 입력 텐서(N x C x T x H x W)로 처리할 수 있도록 확장하여 3D EfficientNet-B0 아키텍처(EfficientNet3D-B0)를 설계하였다.
• 모델은 ImageNet 사전 훈련 가중치로 초기화하고, 맞춤형 드리프트 영상 데이터셋에서 미세조정을 통해 전이 학습을 수행하였다.
• 입력 영상 프레임은 112×112 픽셀로 크기 조정되었으며, 32프레임의 시퀀스로 샘플링되어 시간적 모델링을 위한 3D 입력 볼륨을 구성하였다.
• 일반화 성능 향상과 과적합 방지를 위해 수평 뒤집기, 조명 조정, 자르기, 슬라이싱, 소금과胡椒 소음 등의 데이터 증강 기법을 적용하였다.
• 과적합 방지를 위해 조기 정지 기법을 사용하였으며, 최적화에는 모멘텀 0.5와 가중치 감소 1e-7를 갖는 확률적 경사 하강법(SGD)을 사용하였다.
• 모델은 NVIDIA RTX 2070 GPU를 사용하여 배치 크기가 32인 80/20 훈련-테스트 분할로 PyTorch를 기반으로 훈련되었다.

실험 결과

연구 질문

• RQ1 EfficientNet 아키텍처의 3D 확장판은 높은 정확도와 낮은 계산 비용으로 영상 시퀀스에서 자동차 드리프트를 효과적으로 탐지할 수 있는가?
• RQ2 C3D, ConvLSTM, DenseNet과 같은 기존 3D CNN과 비교할 때, 제안된 DriftNet 모델은 분류 정확도와 파라미터 효율성 측면에서 어떻게 다른가?
• RQ3 ImageNet 사전 훈련에서의 전이 학습은 제한된 맞춤형 드리프트 영상 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 EfficientNet의 복합 스케일링 접근법은 드리프트와 같은 드문 행동에 대해 3D 영상 행동 인식 작업에 잘 일반화되는가?
• RQ5 경량 3D CNN은 자원 제약 조건이 있는 배포 플랫폼에서도 높은 탐지 성능을 달성할 수 있는가?

주요 결과

• DriftNet는 맞춤형 드리프트 영상 데이터셋에서 검증 정확도 92.5%를 달성하였으며, C3D, ConvLSTM, DenseNet보다 분류 성능에서 뛰어났다.
• 제안된 EfficientNet3D-B0 모델은 훈련 정확도 93.75%를 기록하여 훈련 세트에서 강력한 학습 능력을 보였다.
• 단지 469만 개의 파라미터를 가졌음에도 불구하고, 테스트된 다른 모델들과 비교해 우수한 파라미터 효율성을 보였다.
• 더 높은 스케일링 요소(B7까지)를 사용해도 성능 향상이 없었기 때문에, 이 특정 데이터셋과 작업에 대해 B0가 최적임을 시사하였다.
• 데이터 증강과 조기 정지 기법이 과적합을 효과적으로 완화하였으며, 이는 훈련 정확도와 검증 정확도 간의 작은 격차로 확인되었다.
• 저자들은 사우디 아라비아의 도로에서 수집한 100개의 드리프트 영상 클립과 100개의 정상 주행 영상 클립을 포함한 새로운 오픈소스 데이터셋을 성공적으로 수집하고 공개하여 향후 공격적인 주행 탐지 분야의 연구에 기여하였다.