[論文レビュー] Video Event Restoration Based on Keyframes for Video Anomaly Detection

Zhiwei Yang, Jing Liu+3 more|arXiv (Cornell University)|Apr 11, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本論文は、キーフレームからの動画イベントの復元に基づく、画期的な動画異常検出（VAD）パラダイムを提案する。高レベルの視覚的特徴と時間的文脈を学習するため、二重スカイプ接続を備えたU字型のスウィン変換器ネットワーク（USTN-DSC）を導入し、3つのベンチマークデータセットで最先端の性能を達成した。AUCスコアはPed2で98.1%、Avenueで89.9%、ShanghaiTechで73.8%であり、隣接フレーム差分損失の新規導入により、異常検出の感受性と運動の一貫性が顕著に向上した。

ABSTRACT

Video anomaly detection (VAD) is a significant computer vision problem. Existing deep neural network (DNN) based VAD methods mostly follow the route of frame reconstruction or frame prediction. However, the lack of mining and learning of higher-level visual features and temporal context relationships in videos limits the further performance of these two approaches. Inspired by video codec theory, we introduce a brand-new VAD paradigm to break through these limitations: First, we propose a new task of video event restoration based on keyframes. Encouraging DNN to infer missing multiple frames based on video keyframes so as to restore a video event, which can more effectively motivate DNN to mine and learn potential higher-level visual features and comprehensive temporal context relationships in the video. To this end, we propose a novel U-shaped Swin Transformer Network with Dual Skip Connections (USTN-DSC) for video event restoration, where a cross-attention and a temporal upsampling residual skip connection are introduced to further assist in restoring complex static and dynamic motion object features in the video. In addition, we propose a simple and effective adjacent frame difference loss to constrain the motion consistency of the video sequence. Extensive experiments on benchmarks demonstrate that USTN-DSC outperforms most existing methods, validating the effectiveness of our method.

研究の動機と目的

• 従来のDNNベースのVAD手法が、高レベルの視覚的特徴と包括的な時間的文脈を効果的に学習できないという限界に対処すること。
• フレーム再構成や予測に基づくVADアプローチの欠点を克服すること。これらは低レベルのパターンに過剰適合し、異常サンプルの処理に困難を伴う。
• 動画コーデック理論にインspiredされた、DNNが疎なキーフレームから完全な動画イベントを復元するという、新たなVADパラダイムを提案すること。
• 複雑な静的および動的運動オブジェクトの復元を向上させるために、空間的・時間的関係を能動的に抽出するUSTN-DSCモデルを設計すること。
• 隣接フレーム差分損失（AFDL）の有効性を検証すること。この損失は、復元された動画シーケンスにおける運動の一貫性を強制する。

提案手法

• キーフレームからの動画イベント復元に基づく新しいVADパラダイムを提案。DNNは入力としてキーフレームのみを用い、欠落したフレームを推定する。
• エンコーダ・デコーダ構造とマルチスケール特徴学習を組み合わせた、二重スカイプ接続を備えたU字型スウィン変換器ネットワーク（USTN-DSC）を設計。
• 空間的・時間的次元において、エンコーダとデコーダの特徴間の相互作用を強化するため、クロスアテンションスカイプ接続を導入。
• 動画フレーム再構成中に微細な運動ディテールを保持するため、時間的アップサンプリングリサイクルスカイプ接続を統合。
• 隣接フレーム間の画素差分を最小化することで、復元シーケンスにおける運動の一貫性を強制する、新規の隣接フレーム差分損失（AFDL）を採用。
• キーフレームを入力とし、完全な動画シーケンスをターゲットとする再構成損失とAFDLを用いて、モデルをエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 キーフレームからの動画イベント復元は、従来の再構成や予測ベースの手法よりも、教師なし動画異常検出においてより効果的なパラダイムとみなせるか？
• RQ2 特にクロスアテンションスカイプ接続と時間的アップサンプリングスカイプ接続の二重スカイプ接続は、動画復元における複雑な運動および静的特徴のモデリングをどのように向上させるか？
• RQ3 隣接フレーム差分損失（AFDL）は、復元ベースVADにおける運動の一貫性と検出性能をどの程度向上させるか？
• RQ4 スウィン変換器ブロックの深さ（N）を変化させた場合、多様な動画シーンにおける空間的・時間的依存関係を捉える能力にどのような影響を与えるか？
• RQ5 提案手法は、シーンの複雑さや運動パターンが異なるデータセット間でも十分に一般化可能か？

主な発見

• USTN-DSCモデルは3つのベンチマークデータセットで最先端の性能を達成し、Ped2で98.1%、Avenueで89.9%、ShanghaiTechで73.8%のAUCスコアを記録した。
• 二重スカイプ接続の追加により、Ped2、Avenue、ShanghaiTechでそれぞれ7.0、6.7、6.4パーセンテージポイントのAUC向上が見られ、その重要性が示された。
• クロスアテンションスカイプ接続が最も寄与し、各データセットで5.3%、4.7%、3.8%の性能向上をもたらした。
• 隣接フレーム差分損失（AFDL）は、Ped2で0.9、Avenueで1.4、ShanghaiTechで2.3ポイントのAUC向上をもたらした。特にShanghaiTechでは複雑な運動パターンの影響で最大の向上が観察された。
• スウィン変換器ブロックの深さ（N）を2から6に増加させると、Ped2で1.0、Avenueで2.1、ShanghaiTechで2.3ポイントのAUC向上が得られ、複雑なシーンではより強力なモデリング能力が求められることが示された。
• 本手法は異常に対して非常に感受性が高く、異常イベントの発生直後に異常スコアが急激に上昇し、消失後は素早くベースラインに戻ることが確認された。