[論文レビュー] Learning Regularity in Skeleton Trajectories for Anomaly Detection in Videos

Romero Morais, Vuong Le+4 more|arXiv (Cornell University)|Mar 8, 2019

Anomaly Detection Techniques and Applications参考文献 29被引用数 11

ひとこと要約

本稿では、監視映像における異常検出を目的として、人間のスケルトン軌道をグローバルボディモーションとローカルポーズ成分に分解する新規なメッセージパッシングエンコーダーデコーダー再帰ニューラルネットワーク（MPED-RNN）を提案する。これらの分離されたダイナミクスを相互ブランチ間メッセージパッシングでモデル化することで、意味的に明確な特徴可視化と意思決定の説明による解釈可能性を向上させつつ、最先端の性能を達成した。

ABSTRACT

Appearance features have been widely used in video anomaly detection even though they contain complex entangled factors. We propose a new method to model the normal patterns of human movements in surveillance video for anomaly detection using dynamic skeleton features. We decompose the skeletal movements into two sub-components: global body movement and local body posture. We model the dynamics and interaction of the coupled features in our novel Message-Passing Encoder-Decoder Recurrent Network. We observed that the decoupled features collaboratively interact in our spatio-temporal model to accurately identify human-related irregular events from surveillance video sequences. Compared to traditional appearance-based models, our method achieves superior outlier detection performance. Our model also offers "open-box" examination and decision explanation made possible by the semantically understandable features and a network architecture supporting interpretability.

研究の動機と目的

• 高次元的でノイズが多く、構造のない特徴により意味的意味が曇るため、外見ベースの動画異常検出の限界を是正する。
• 構造的で意味的豊かなスケルトン特徴を用いることで、深層学習モデルの解釈不能性を克服し、オープンボックス分析を可能にする。
• グローバルモーションとローカルポーズダイナミクスに分解することで、人間の運動の規則性を明示的にモデル化し、異常検出性能を向上させる。
• 各特徴成分が最終的な異常スコアに与える寄与度を可視化することで、誤り分析やドメイン知識の統合を可能にする、寄与要因と意思決定重みの可視化を提供することで解釈可能性を支援する。

提案手法

• 2次元スケルトン軌道を、グローバルボディモーション（シーン内での全身ダイナミクス）とローカルボディポーズ（ボディに固定された座標系におけるスケルトン構成）の2つの部分に分解する。
• 各時刻でクロスブランチ間メッセージパッシングを行う2つの独立したRNNブランチを備えたメッセージパッシングエンコーダーデコーダー再帰ニューラルネットワーク（MPED-RNN）を設計する。
• 訓練シーケンスから正常行動のコンactで代表的なプロファイルを抽出できるように、正則化を用いてエンドツーエンドでモデルを訓練する。
• 学習済み重みを公開し、各特徴成分が最終的な異常スコアに与える寄与度を可視化することで、解釈可能性を支援する。
• 空間的・時間的モデリングにより、グローバルおよびローカルモーションパターン間の長距離依存性と動的相互作用を捉える。
• メッセージパッシングフレームワークを拡張し、非スケルトン特徴の統合および多人数・オブジェクトレベルの異常検出への将来的な拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スケルトン軌道をグローバルモーションとローカルポーズに分解することで、エンドツーエンドの外見ベースモデルと比較して異常検出性能が向上するか？
• RQ2 提案されたMPED-RNNモデルは、意味的に明確な特徴表現を用いることで、高い性能を維持しながら解釈可能性を達成できるか？
• RQ3 スケルトンベースの異常検出における主な失敗モードは何か？また、スケルトン検出の不正確さや運動・ポーズの類似性に起因するか？
• RQ4 グローバルおよびローカルRNNブランチ間のメッセージパッシング機構は、微細な異常を検出する能力をどのように向上させるか？
• RQ5 提案手法は、画質や異常タイプが異なる多様な監視映像データセットに一般化可能か？

主な発見

• HR-Avenueサブセットにおいて、MPED-RNNはCUHK AvenueデータセットでフレームレベルのROC AUC 0.863を達成し、Liu et al.（0.862）およびConv-AE（0.848）を上回った。
• ShanghaiTechデータセットでは、2048次元のResNet特徴と比較して約100次元のスケルトン特徴しか使用していないにもかかわらず、従来の外見ベースモデルよりも優れた外れ値検出性能を示した。
• 主な誤り要因は、低解像度、影、遮蔽状況におけるスケルトン検出・追跡の不正確さであり、これが異常イベントの誤分類を引き起こす。
• 異常行動（例：ゆっくり自転車をこぐ）が通常の歩行と類似したスケルトンポーズと運動パターンを示す場合に顕著な失敗事例が発生し、スケルトン特徴の幾何的性質に起因して偽陰性が生じる。
• 寄与要因と意思決定重みの可視化により、モデルの解釈可能性が検証され、誤り分析やドメイン特化のためのモデル最適化が可能になった。
• 手法の性能はスケルトン品質に強く依存しているため、今後の研究では欠損または損傷したスケルトン入力を補うために外見特徴を統合するべきであると示唆された。