[논문 리뷰] Learning Temporal Regularity in Video Sequences

Mahmudul Hasan, Jonghyun Choi외 3명|arXiv (Cornell University)|2016. 04. 15.

Anomaly Detection Techniques and Applications인용 수 63

한 줄 요약

이 논문은 제한된 감독 하에 비디오 시퀀스의 시간적 규칙성을 학습하기 위해 자기지도 학습 기반의 딥 오토인코더 프레임워크를 제안한다. 이는 수작업으로 만든 시공간 특징과 엔드 투 엔드 컨볼루션 오토인코더를 모두 활용한다. 모델은 재구성 오차를 통해 규칙적인 운동 패턴을 포착하여, 경쟁적인 성능을 보이며 다양한 데이터셋에 일반화되는 효과적인 이상 탐지가 가능하다.

ABSTRACT

Perceiving meaningful activities in a long video sequence is a challenging problem due to ambiguous definition of 'meaningfulness' as well as clutters in the scene. We approach this problem by learning a generative model for regular motion patterns, termed as regularity, using multiple sources with very limited supervision. Specifically, we propose two methods that are built upon the autoencoders for their ability to work with little to no supervision. We first leverage the conventional handcrafted spatio-temporal local features and learn a fully connected autoencoder on them. Second, we build a fully convolutional feed-forward autoencoder to learn both the local features and the classifiers as an end-to-end learning framework. Our model can capture the regularities from multiple datasets. We evaluate our methods in both qualitative and quantitative ways - showing the learned regularity of videos in various aspects and demonstrating competitive performance on anomaly detection datasets as an application.

연구 동기 및 목표

• 의미가 명확하지 않은 '의미 있는 순간'을 정의하기 어려운 장시간이고 제어되지 않은 비디오 시퀀스에서 의미 있는 순간을 식별하는 문제를 해결하기 위해.
• 일상적이고 반복적인 운동 패턴에 초점을 맞추어, 비디오의 시간적 규칙성을 약한 감독 또는 무감독 문제로 모델링하기 위해.
• 데이터셋 편향을 보완하지 않고도 여러 데이터셋에서 일반화 가능한 모델을 개발하기 위해.
• 이상 탐지, 과거/미래 프레임 예측, 비규칙 운동 이벤트 지역화와 같은 응용을 가능하게 하기 위해.
• 오토인코더가 규칙적인 시간적 동역학을 효과적으로 학습하고 재구성할 수 있으며, 비규칙성에는 높은 재구성 오차를 부여함으로써 이를 확인하기 위해.

제안 방법

• 수작업으로 만든 시공간 국소 특징(예: 향상된 궤적 특징 등)에 대해 훈련된 완전 연결 오토인코더를 사용하여 시간적 규칙성을 학습한다.
• 공간-시간적 구조를 유지하면서 엔드 투 엔드로 운동 특징과 규칙성 패턴을 동시에 학습하는 완전 컨볼루션 오토인코더(Conv-AE)를 제안한다.
• 재구성 오차를 규칙성의 대체 지표로 사용한다: 낮은 오차는 규칙적인 운동을 의미하고, 높은 오차는 이질성(잠재적 이상)을 의미한다.
• 지속성1D 알고리즘을 적용하여 규칙성 점수 시간 시리즈에서 의미 있는 국소 최소값을 탐지하여 이상 이벤트를 식별한다.
• 고정된 시간 윈도우(50 프레임)를 사용하여 겹치는 국소 최소값을 하나의 일관된 이상 이벤트 영역으로 묶는다.
• 학습된 필터 반응을 시각화하여 모델이 규칙성과 비규칙성 탐지에 대해 어떤 특징을 학습하는지 해석한다.

실험 결과

연구 질문

• RQ1 제한된 감독 하에 오토인코더가 비디오에서 시간적으로 규칙적인 운동 패턴을 효과적으로 학습하고 재구성할 수 있는가?
• RQ2 사전 계산된 특징을 사용하는 것과 비교해, 통합 엔드 투 엔드 컨볼루션 오토인코더가 국소 운동 특징과 규칙성 패턴을 얼마나 잘 학습할 수 있는가?
• RQ3 다양한 데이터셋에서 훈련된 모델이 시간적 규칙성을 유지하면서도 예측되지 않은 비디오에 얼마나 잘 일반화되는가?
• RQ4 오토인코더에서 유도된 재구성 오차가 비디오 시퀀스에서 이상 이벤트를 탐지하는 데 신뢰할 수 있는 신호가 될 수 있는가?
• RQ5 오토인코더의 학습된 필터는 인간이 인지할 수 있는 의미 있는 규칙적·비규칙적 운동 패턴과 어떻게 대응하는가?

주요 결과

• 제안된 Conv-AE 모델은 경쟁적인 이상 탐지 성능을 달성하였으며, UCSD Ped1에서 EER 43/8과 AUC 92.7/16.0을 기록하여 이와 같은 벤치마크에서 이전 방법들을 능가한다.
• CUHK Avenue 데이터셋에서는 EER 45/4와 AUC 70.2/25.1을 달성하여, 이전 연구와 다른 버전의 데이터셋을 사용함에도 불구하고 뛰어난 성능을 보였다.
• 모델은 뛰기나 급격한 운동 변화와 같은 비규칙성을 지표로 삼지 않은 경우에도 높은 재구성 오차로 이를 탐지한다.
• 필터 시각화 결과, 초기 레이어는 세밀한 규칙적인 운동 패턴을 학습하는 반면, 깊은 레이어는 고차원적 이질성을 포착함으로써 계층적 특징 학습을 확인할 수 있었다.
• 모델은 의미 있는 후속 응용을 가능하게 하였다: 비디오에서 가장 규칙적인 프레임을 생성하고, 단일 입력에서 과거 및 미래의 규칙적인 프레임을 예측하며, 비규칙 운동에 관여하는 물체를 지역화할 수 있었다.
• 일부 최신 기술 대비 더 많은 오류 경고를 탐지하나, 이는 비규칙성에서의 이질성에 더 광범위하게 민감하게 반응함을 시사하며, 이상 역학에 대한 더 넓은 감도를 가짐을 시사한다.