[論文レビュー] Video Trajectory Classification and Anomaly Detection Using Hybrid CNN-VAE

Santhosh Kelathodi Kumaran, Debi Prosad Dogra+2 more|arXiv (Cornell University)|Dec 18, 2018

Anomaly Detection Techniques and Applications参考文献 9被引用数 11

ひとこと要約

本論文では、交通監視映像における動的軌跡分類および異常検出のためのハイブリッドCNN-VAEアーキテクチャを提案する。色の勾配表現を用いて時間的特徴を符号化し、既知および未知の異常検出を可能にする。本手法は、半教師あり軌跡ラベリング、t-SNEによる外れ値分離、可変長軌跡におけるエンド・ツー・エンドのディープラーニングを活用することで、従来手法を上回る高い精度を達成する。

ABSTRACT

Classifying time series data using neural networks is a challenging problem when the length of the data varies. Video object trajectories, which are key to many of the visual surveillance applications, are often found to be of varying length. If such trajectories are used to understand the behavior (normal or anomalous) of moving objects, they need to be represented correctly. In this paper, we propose video object trajectory classification and anomaly detection using a hybrid Convolutional Neural Network (CNN) and Variational Autoencoder (VAE) architecture. First, we introduce a high level representation of object trajectories using color gradient form. In the next stage, a semi-supervised way to annotate moving object trajectories extracted using Temporal Unknown Incremental Clustering (TUIC), has been applied for trajectory class labeling. Anomalous trajectories are separated using t-Distributed Stochastic Neighbor Embedding (t-SNE). Finally, a hybrid CNN-VAE architecture has been used for trajectory classification and anomaly detection. The results obtained using publicly available surveillance video datasets reveal that the proposed method can successfully identify some of the important traffic anomalies such as vehicles not following lane driving, sudden speed variations, abrupt termination of vehicle movement, and vehicles moving in wrong directions. The proposed method is able to detect above anomalies at higher accuracy as compared to existing anomaly detection methods.

研究の動機と目的

• 監視映像からの可変長動的軌跡における分類および異常検出の課題に対処すること。
• 運動ダイナミクスを捉える色の勾配表現を用いて時間的特徴を符号化することで、異常検出の精度を向上させること。
• 交通シーンにおける既知の異常（例：逆走）および未知の異常（例：急停止）の両方を検出できること。
• 文脈モデリングと頑健な再構築損失を用いて、混雑な状況下での誤検出を低減すること。
• TUICベースのトラッキングとディープラーニングを統合したスケーラブルな軌跡ラベリングのための半教師ありフレームワークを開発すること。

提案手法

• 可変長の軌跡長を保ちながら、時間的進化を符号化するため、軌跡が色の勾配形式で表現される。
• 時間的未知インクリメンタルクラスタリング（TUIC）が軌跡を抽出し、正常パスの特定のためのmDPMMを用いた半教師ありラベリングが実施される。
• t-SNEを用いて、埋め込み空間における正常軌跡と異常軌跡の分離を可視化する。
• エンド・ツー・エンドで訓練されるハイブリッドCNN-VAEアーキテクチャ：CNNは色の勾配画像からの空間的特徴を抽出し、VAEは再構築と異常スコアリングのための潜在表現を学習する。
• 再構築損失（KLD + 尤度）を用いて異常検出が行われ、正常軌跡からの収束した損失値に基づいてしきい値が設定される。
• 再構築誤差を分析することで異常を局所化し、信号状態などの文脈的情報を統合して、文脈依存の異常を検出する。

実験結果

リサーチクエスチョン

• RQ1 可変長動的軌跡における時間的特徴を、ディープラーニングベースの分類に適した色の勾配表現で効果的に符号化できるか？
• RQ2 半教師ありクラスタリングとt-SNEは、監視データにおける正常軌跡と異常軌跡の分離をどの程度向上できるか？
• RQ3 ハイブリッドCNN-VAEモデルは、既知および未知の交通異常を検出する点で、再構築ベースの手法をどの程度上回るか？
• RQ4 従来手法が見逃す、緑信号時に左折するなど、文脈的異常（例：信号制御下での不正な走行）をモデルが検出できるか？
• RQ5 本手法は、信号切り替え時を含む混雑な状況下でも誤検出をどのように処理するか？

主な発見

• 提案手法は、レーン違反、逆走、急停止、速度変化といった重要な交通異常を、従来の再構築ベース手法よりも高い精度で検出する。
• ハイブリッドCNN-VAEモデルは、スパarsな再構築[19]および空間的・時間的オートエンコーダ[5]と比較して、特に混雑な交通状況下で低い誤報率を達成する。
• 本システムは、直進走行が許可されている状況で左折する車両など、他の手法が失敗する文脈的異常を効果的に同定する。
• 未知の異常はVAEの再構築損失により検出され、既知の異常はCNNヘッドを用いて高精度に局所化・分類される。
• 本手法は、軌跡が利用可能になるとすぐに異常検出を開始するため、逐次またはフレーム単位の手法と比較して、異常局所化において優れた性能を示す。
• 収束したKLDおよび尤度損失に基づくしきい値設定により、最小限のハイパーパrameterチューニングで、頑健でデータ駆動型の異常検出基準が実現される。