[論文レビュー] Ano-Graph: Learning Normal Scene Contextual Graphs to Detect Video Anomalies

Masoud Pourreza, Mohammadreza Salehi+1 more|arXiv (Cornell University)|Mar 18, 2021

Anomaly Detection Techniques and Applications被引用数 12

ひとこと要約

Ano-Graphは、市販の検出器から得られる特徴を用いて、動画内の通常のオブジェクト相互作用をモデル化する自己教師あり空間時系列グラフ学習フレームワークを提案する。この手法により、異常データを用いた学習が不要な状況下でも、データ効率的かつ頑健な異常検出が可能となり、ADOCおよびStreet Sceneで最先端の性能を達成した。

ABSTRACT

Video anomaly detection has proved to be a challenging task owing to its unsupervised training procedure and high spatio-temporal complexity existing in real-world scenarios. In the absence of anomalous training samples, state-of-the-art methods try to extract features that fully grasp normal behaviors in both space and time domains using different approaches such as autoencoders, or generative adversarial networks. However, these approaches completely ignore or, by using the ability of deep networks in the hierarchical modeling, poorly model the spatio-temporal interactions that exist between objects. To address this issue, we propose a novel yet efficient method named Ano-Graph for learning and modeling the interaction of normal objects. Towards this end, a Spatio-Temporal Graph (STG) is made by considering each node as an object's feature extracted from a real-time off-the-shelf object detector, and edges are made based on their interactions. After that, a self-supervised learning method is employed on the STG in such a way that encapsulates interactions in a semantic space. Our method is data-efficient, significantly more robust against common real-world variations such as illumination, and passes SOTA by a large margin on the challenging datasets ADOC and Street Scene while stays competitive on Avenue, ShanghaiTech, and UCSD.

研究の動機と目的

• 異常なトレーニングサンプルが入手できない自己教師あり設定における動画異常検出の課題に対処すること。
• 従来の手法が通常のシーンにおけるオブジェクト間の複雑な空間時系列的相互作用をモデル化できないという限界を克服すること。
• 空間的・時間的文脈的関係を、通常のオブジェクト同士で捉えるデータ効率的かつ頑健な手法を開発すること。
• ADOCやStreet Sceneのような、複雑な実世界の変化を含む挑戦的なベンチマークでの性能向上を図ること。
• 異常アノテーションを必要とせずに、通常の行動をモデル化できる空間時系列グラフにおける自己教師あり学習を実現すること。

提案手法

• 各ノードがリアルタイムの市販オブジェクト検出器から抽出されたオブジェクト特徴を表す空間時系列グラフ（STG）を構築する。
• 空間的近接性と時間的整合性に基づいてノード間のエッジを定義し、オブジェクト相互作用をモデル化する。
• 空間時系列グラフ上で自己教師あり学習目的を適用し、正常なシーンダイナミクスを捉える意味的空間に相互作用を埋め込む。
• 深層ネットワークの階層的表現能力を活用して、多段階の空間時系列依存関係をモデル化する。
• 空間時系列グラフ上で再構成または対照的目的を用いて、エンドツーエンドで自己教師ありにモデルを学習し、正常パターンを学習する。
• テスト動画における期待される相互作用パターンからの逸脱を測定することで、学習済みグラフ表現を用いて異常を検出する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習を空間時系列グラフに適用することで、異常アノテーションを一切用いずに、動画シーン内の通常のオブジェクト相互作用を効果的にモデル化できるか？
• RQ2 従来の手法と比較して、照明の変化やオブジェクトのスケール変化といった一般的な実世界の変化に対して、Ano-Graphはどの程度一般化性能を示すか？
• RQ3 オブジェクト相互作用をモデル化することで、ADOC や Street Scene といった挑戦的なベンチマークでの異常検出性能はどの程度向上するか？
• RQ4 グラフベースのアプローチは、データ効率的かつ実世界の展開環境でも頑健であるという点で、最先端の結果を達成できるか？

主な発見

• Ano-Graphは、ADOCおよびStreet Sceneデータセットで最先端の性能を達成し、先行手法を顕著に上回った。
• 照明の変化やオブジェクトスケールの変化といった一般的な実世界の変化に対しても、高い頑健性を示した。
• 自己教師あり空間時系列グラフを用いて空間時系列的相互作用をモデル化することで、オートエンコーダーやGANベースのベースラインと比較して、より豊かな文脈表現を捉えた。
• Avenue、ShanghaiTech、UCSDといった標準ベンチマークでも、競争力のある性能を維持した。
• 市販オブジェクト検出器を活用することで、再トレーニングを必要とせずに、効率的かつスケーラブルな特徴抽出が可能になった。
• 空間時系列グラフ上での自己教師あり学習目的により、正常なシーンダイナミクスが効果的に学習され、学習済みパターンからの逸脱を用いた正確な異常検出が可能になった。