[論文レビュー] Learning Temporal Regularity in Video Sequences

Mahmudul Hasan, Jonghyun Choi+3 more|arXiv (Cornell University)|Apr 15, 2016

Anomaly Detection Techniques and Applications被引用数 63

ひとこと要約

本論文では、限られた監視情報のもとで、手作業で作成された空間時間的特徴量とエンドツーエンドの畳み込み自己符号化器を活用して、動画シーケンス内の時間的規則性を学習する自己教師付き深層自己符号化器フレームワークを提案する。モデルは再構成誤差を通じて規則的な運動パターンを捉え、優れた性能で複数のデータセットに一般化可能であり、異常検出に有効である。

ABSTRACT

Perceiving meaningful activities in a long video sequence is a challenging problem due to ambiguous definition of 'meaningfulness' as well as clutters in the scene. We approach this problem by learning a generative model for regular motion patterns, termed as regularity, using multiple sources with very limited supervision. Specifically, we propose two methods that are built upon the autoencoders for their ability to work with little to no supervision. We first leverage the conventional handcrafted spatio-temporal local features and learn a fully connected autoencoder on them. Second, we build a fully convolutional feed-forward autoencoder to learn both the local features and the classifiers as an end-to-end learning framework. Our model can capture the regularities from multiple datasets. We evaluate our methods in both qualitative and quantitative ways - showing the learned regularity of videos in various aspects and demonstrating competitive performance on anomaly detection datasets as an application.

研究の動機と目的

• 『意味の有る』または『顕著な』瞬間を、定義が曖昧な長時間で非制御的な動画シーケンスから特定する課題に対処すること。
• 通常の、繰り返し発生する運動パターンに注目し、動画内の時間的規則性を弱教師付きまたは教師なし問題としてモデル化すること。
• データセットバイアスを補正せずに、複数のデータセットにわたる規則的な運動ダイナミクスを学習可能な汎用的モデルを開発すること。
• 異常検出、過去／未来のフレーム予測、不規則な運動イベントの局所化といった応用を可能にすること。
• 自己符号化器が、規則的な時間的ダイナミクスを効果的に学習・再構成し、不規則性に対して高い再構成誤差を割り当てることができるかどうかを示すこと。

提案手法

• 手作業で作成された空間時間的局所特徴量（例：改良されたトラジェクトリーフィーチャ）に、完全結合型自己符号化器を適用して時間的規則性を学習する。
• 畳み込み型自己符号化器（Conv-AE）を提案し、エンドツーエンドで運動特徴量と規則性パターンを同時に学習することで、空間時間的構造を保持する。
• 再構成誤差を規則性の代理指標として用いる：低誤差は規則的な運動を示し、高誤差は逸脱（潜在的な異常）を示す。
• 時間的規則性スコアの時系列における意味のある局所的最小値を検出するために、persistence1Dアルゴリズムを適用する。
• 固定された時間窓（50フレーム）を用いて、重複する局所的最小値を統合し、一貫性のある異常イベント領域を特定する。
• 学習されたフィルタ応答を可視化することで、モデルが規則性および不規則性検出に用いる特徴を解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器は、最小限の監視情報のもとで、動画内の時間的規則的な運動パターンを効果的に学習・再構成できるか？
• RQ2 事前計算された特徴量を用いる場合と比較して、統合的なエンドツーエンド畳み込み自己符号化器は、局所的運動特徴量と規則性パターンの両方をどれほど効果的に学習できるか？
• RQ3 複数のデータセットで学習したモデルが、未観測の動画にどれほど一般化可能であり、時間的規則性を保持できるか？
• RQ4 自己符号化器からの再構成誤差は、動画シーケンスにおける異常イベント検出に信頼できる信号として機能するか？
• RQ5 自己符号化器で学習されたフィルタは、人間の知覚的に意味のある規則的・不規則的運動パターンに対応しているか？

主な発見

• 提案されたConv-AEモデルは、UCSD Ped1でEER 43/8、AUC 92.7/16.0を達成し、このベンチマークで先行手法を上回る優れた異常検出性能を示した。
• CUHK Avenueデータセットでは、EER 45/4、AUC 70.2/25.1を達成し、先行研究とは異なるバージョンのデータセットを用いても強力な性能を発揮した。
• 走る動作や急激な運動変化といった不規則な行動は、アノテーションが付与されていなくても、再構成誤差が高くなることで検出可能であった。
• フィルタ可視化の結果、初期層は微細な規則的運動パターンを学習しており、深層部では上位レベルの逸脱を捉えていることが確認され、階層的特徴学習が成立していることが裏付けられた。
• モデルは意味のある後続応用を可能にした：動画から最も規則的なフレームを生成し、1つの入力から過去および未来の規則的なフレームを予測可能であり、不規則な運動に関与する物体の局所化も可能となった。
• 一部のSOTA手法よりも誤検出が多く発生するものの、本モデルのアプローチは規則性からの逸脱をより包括的に捉えることができ、異常ダイナミクスに対してより広範な感受性を示していると考えられる。