[논문 리뷰] A Memory-Augmented Multi-Task Collaborative Framework for Unsupervised Traffic Accident Detection in Driving Videos

Rongqin Liang, Yuanman Li외 3명|arXiv (Cornell University)|2023. 07. 27.

Autonomous Vehicle Technology and SafetyEngineering인용 수 3

한 줄 요약

이 논문은 주행 영상에서 비지도 학습을 위한 메모리 증강 다중 작업 공동 프레임워크(MAMTCF)를 제안한다. 이는 정상 주행 패턴을 보다 잘 포착하기 위해 광학 흐름 복원과 미래 물체 위치 지정을 동시에 활용하여 자동차에 관여된 사고와 그렇지 않은 사고를 모두 탐지한다. 메모리 기반 운동 표현 기반을 통합함으로써 정상 패턴을 저장한 메모리에서 강화된 운동 특징을 활용함으로써, 대규모 벤치마크에서 최신 기술 수준의 성능을 달성하며 단일 사전 작업 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Identifying traffic accidents in driving videos is crucial to ensuring the safety of autonomous driving and driver assistance systems. To address the potential danger caused by the long-tailed distribution of driving events, existing traffic accident detection (TAD) methods mainly rely on unsupervised learning. However, TAD is still challenging due to the rapid movement of cameras and dynamic scenes in driving scenarios. Existing unsupervised TAD methods mainly rely on a single pretext task, i.e., an appearance-based or future object localization task, to detect accidents. However, appearance-based approaches are easily disturbed by the rapid movement of the camera and changes in illumination, which significantly reduce the performance of traffic accident detection. Methods based on future object localization may fail to capture appearance changes in video frames, making it difficult to detect ego-involved accidents (e.g., out of control of the ego-vehicle). In this paper, we propose a novel memory-augmented multi-task collaborative framework (MAMTCF) for unsupervised traffic accident detection in driving videos. Different from previous approaches, our method can more accurately detect both ego-involved and non-ego accidents by simultaneously modeling appearance changes and object motions in video frames through the collaboration of optical flow reconstruction and future object localization tasks. Further, we introduce a memory-augmented motion representation mechanism to fully explore the interrelation between different types of motion representations and exploit the high-level features of normal traffic patterns stored in memory to augment motion representations, thus enlarging the difference from anomalies. Experimental results on recently published large-scale dataset demonstrate that our method achieves better performance compared to previous state-of-the-art approaches.

연구 동기 및 목표

• 사고 유형의 장꼬리 분포를 고려한 주행 영상에서의 비지도 주행 사고 탐지 과제를 해결한다.
• 카메라 움직임과 조도 변화에 민감하여 자동차에 관여된 사고를 탐지하지 못하는 단일 사전 작업 기반 방법(특히 외관 기반 및 미래 물체 위치 지정 방법)의 한계를 극복한다.
• 광학 흐름을 통한 외관 변화 모델링과 향후 위치 지정을 통한 물체 운동 모델링을 공동으로 수행함으로써 자동차 운동 및 물체 수준의 비정상성 탐지 민감도를 향상시킨다.
• 정상 교통 패턴의 고수준 특징을 메모리 백업에서 확보함으로써 운동 표현 학습을 향상시켜 비정상성 식별 능력을 강화한다.
• 운동 특징 향상을 위해 동적으로 관련 있는 메모리 항목을 선택하는 메모리 증강 운동 표현 기반을 개발하여 복잡성과 일반화 능력을 향상시킨다.

제안 방법

• 정상 주행 패턴을 모델링하기 위해 광학 흐름 복원과 미래 물체 위치 지정을 사전 작업으로 공동 최적화하는 다중 작업 공동 프레임워크를 제안한다.
• 정상 교통의 고수준 특징를 저장하는 학습 가능한 메모리 백업을 활용하여 양자 모두의 운동 표현을 융합하는 메모리 증강 운동 표현(MAMR) 기반을 도입한다.
• 메모리 액세스의 희소성 강제를 위해 학습 가능한 임계값을 사용하는 하드 셰이핑 연산을 적용하여 운동 표현 향상에 가장 관련성이 높은 메모리 항목만 선택한다.
• 시간 프레임 간 운동 표현을 집계하고 개선하기 위해 트랜스포머 기반 아키텍처를 사용하여 동적 장면의 시간적 모델링을 향상시킨다.
• 정상 교통 시퀀스에서 새로운 특징을 주기적으로 가져와 오래된 메모리 항목을 교체하는 메모리 업데이트 전략을 적용하여 정상 행동의 최신 표현을 유지한다.
• 사고 레이블이 필요 없는 비지도 방식으로 모델을 종합적으로 훈련시키며, 복원 및 위치 지정 손실을 통해 특징 학습을 유도한다.

Figure 1: The framework of our MAMTCF algorithm. MAMTCF primarily consists of a feature extraction module, a memory-augmented motion representation mechanism, and a multi-task decoder. 1) First, the optical flow of driving video frames and the bounding boxes of observed objects in the scenes are enc

실험 결과

연구 질문

• RQ1 광학 흐름 복원과 미래 물체 위치 지정의 공동 최적화가 단일 작업 기반 기준 대비 자동차에 관여된 사고와 그렇지 않은 사고의 탐지 성능을 향상시키는가?
• RQ2 메모리 증강 기반을 통합함으로써 비지도 TAD에서 운동 표현 학습과 비정상성 식별 능력이 어떻게 향상되는가?
• RQ3 MAMR 기반에서 성능과 일반화 능력의 균형을 고려할 때 최적의 메모리 크기와 하드 셰이핑 임계값 설정은 무엇인가?
• RQ4 제안된 프레임워크는 대규모 실생활 주행 영상 벤치마크에서 기존 비지도 TAD 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 왜 이 방법은 미세한 자동차 차량 운동이나 극단적인 조도 변화가 있는 시나리오에서는 여전히 실패하는가? 주요 실패 원인은 무엇인가?

주요 결과

• 제안된 MAMTCF 프레임워크는 최근 발표된 대규모 주행 영상 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기존 비지도 TAD 방법보다 mAP 및 F1 점수 모두에서 뛰어난 성능을 보였다.
• 메모리 증강 운동 표현 기반은 정상과 비정상 운동 패턴 간의 분류 간격을 증가시켜 비정상성 탐지 능력을 향상시켰으며, 특히 자동차에 관여된 사고의 경우 두드러진 효과를 보였다.
• 1000개의 메모리 슬롯(M=1000)에서 최고의 성능을 기록하였으며, 이후 과도한 메모리 용량으로 인한 과적합으로 인해 성능이 약간 저하되었다.
• 임계값 λ=3/M를 사용한 하드 셰이핑 연산이 소프트맥스 기반 대비 더 뛰어난 성능을 보였으며, 이는 희소성 강제와 더 관련성이 높은 메모리 항목 선택을 통해 성능 향상을 이끌었다.
• MAMR 기반에서 L=3층의 구조를 가진 모델이 성능과 모델 복잡성 간 최적의 균형을 이룩하였으며, 더 깊은 네트워크에서는 탐지 정확도가 약간 감소하였다.
• 실패 케이스 분석을 통해 미세한 자동차 차량 운동이나 저조도 조건에서의 사고 탐지에 한계를 보였으며, 이는 광학 흐름 변화가 미미하고 물체 검출에 실패하기 때문이었다.

Figure 2: Illustration of the propose MAMR mechanism. The MAMR mechanism mainly consists of a inter-motion layer, memory-augmented motion layer, and feedforward network. The inter-motion layer explores the interrelation between global motion and object motion , while the memory-augmented motion laye