[論文レビュー] Video Anomaly Detection by Solving Decoupled Spatio-Temporal Jigsaw Puzzles

Guodong Wang, Yunhong Wang+4 more|arXiv (Cornell University)|Jul 20, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文は、外見用の空間パズルと運動用の時間的パズルに分離されたスパatiotemporal jigsawパズルを解く自己教師あり動画異常検出手法を提案する。全順列を用いて多様で困難なトレーニング信号を生成することで、3つのベンチマークで最先端の性能を達成し、再構成や予測に基づく手法と比較して大幅に優れている。特にShanghaiTech Campusでは84.3%のAUROCを達成した。

ABSTRACT

Video Anomaly Detection (VAD) is an important topic in computer vision. Motivated by the recent advances in self-supervised learning, this paper addresses VAD by solving an intuitive yet challenging pretext task, i.e., spatio-temporal jigsaw puzzles, which is cast as a multi-label fine-grained classification problem. Our method exhibits several advantages over existing works: 1) the spatio-temporal jigsaw puzzles are decoupled in terms of spatial and temporal dimensions, responsible for capturing highly discriminative appearance and motion features, respectively; 2) full permutations are used to provide abundant jigsaw puzzles covering various difficulty levels, allowing the network to distinguish subtle spatio-temporal differences between normal and abnormal events; and 3) the pretext task is tackled in an end-to-end manner without relying on any pre-trained models. Our method outperforms state-of-the-art counterparts on three public benchmarks. Especially on ShanghaiTech Campus, the result is superior to reconstruction and prediction-based methods by a large margin.

研究の動機と目的

• 異常データのラベルが存在しない状況における動画異常検出（VAD）の課題に対処するため、自己教師あり学習を活用すること。
• 既存の再構成や予測に基づく手法には、正常パターンに対する強い一般化性能のため、微細な異常を検出できないという限界があるため、それを克服すること。
• 二値分類や単純な対照学習よりも、正常と異常イベントの間の微細なスパティオトロピカルな違いを捉えることが可能な、より判別力のある事前学習タスクを設計すること。
• ImageNet や Kinetics の事前学習に依存しないようにし、正常な動画データのみを用いて、エンド・トゥ・エンドでモデルを訓練すること。
• 空間的および時間的パズルを分離し、全順列を用いてタスクの多様性と難易度を高めることで、モデルの最適化と特徴学習を向上させること。

提案手法

• スパティオトロピカルなjigsawパズルを、フレーム内でのパッチの再配置（空間jigsaw）と、連続するフレームの再配置（時間的jigsaw）という2つの別々のタスクに分離し、外見と運動パターンの集中学習を可能にする。
• サブセットではなく、すべての $n!$ 種類の可能な順列を用いて、多様なjigsawパズルを生成することで、タスクの難易度を高め、微細な異常を区別するための微細な監視信号を提供する。
• jigsawパズルの解法タスクを、1つの順列クラスを予測するのではなく、各パッチ（空間的）または各フレーム（時間的）の元の位置を予測する多値分類問題に再定式化する。
• 事前学習バックボーンを一切使用せず、シャッフルされた入力からのスパティオトロピカル再構成を直接最適化することで、エンド・トゥ・エンドでモデルを訓練する。
• トレーニングおよび推論時に空間的および時間的jigsawソルバーを両方適用し、アブレーションスタディにより、マルチタスク学習が性能向上に寄与することが示された。
• 標準的なI3Dまたは類似のバックボーンネットワークを用いて特徴を抽出し、空間的および時間的jigsaw予測のための別個のヘッドを設け、多値分類位置予測タスクにおける交差エントロピー損失を用いて学習する。

実験結果

リサーチクエスチョン

• RQ1 分離されたスパティオトロピカルなjigsawパズルを解くことは、動画異常検出のための強力な自己教師あり事前学習タスクとして機能するか？
• RQ2 ヒューリスティックなサブセットではなく、全順列を用いることで、微細なスパティオトロピカルな異常を検出する能力が向上するか？
• RQ3 同時に空間的および時間的パズルを解くマルチタスク学習は、単一タスク学習よりも異常検出において効果的か？
• RQ4 他の自己教師あり事前学習タスク（例：回転予測、時間の矢印、時間的順序検証）と比較して、VAD性能において本手法はどのように優れているか？
• RQ5 事前学習モデルに依存せずに、オブジェクトレベルおよびフレームレベルの異常検出に一般化可能か？

主な発見

• 提案手法はAvenueで92.2%のAUROC、ShanghaiTech Campus（STC）で84.3%のAUROCを達成し、特に再構成や予測に基づく手法と比較して顕著に優れた性能を示した。
• STCでは、トレーニングおよび推論時に空間的および時間的jigsawパズルの両方を解いた場合（C5）に84.3%のAUROCを達成し、単一タスクバージョン（C1）の78.6%から6.1ポイント向上した。
• アブレーションスタディにより、トレーニング時に両方のパズルを解くことが不可欠であることが確認された。片方のパズルのみを使用した場合、性能が著しく低下し、異常はしばしば外見的および運動的両方の異常を伴うことが示された。
• 回転予測、時間の矢印、時間的順序検証といった代替的な事前学習タスクよりも本手法が優れており、空間的および時間的jigsawパズルの組み合わせで最高の結果（84.3% AUROC）を達成した。
• RetroTrucksデータセットでは、フレームレベル検出で72.8%のAUROCを達成し、オブジェクト相互作用の推論を用いた先行の最先端手法（71.5% AUROC）を上回った。
• 事前学習重みを一切使用せずに強力な性能を達成したため、本手法の事前学習タスクが、スクラッチから判別力のある表現を学習するのに十分に有効であることが示された。