[論文レビュー] Video Anomaly Detection By The Duality Of Normality-Granted Optical Flow

Hongyong Wang, Xinjian Zhang+2 more|arXiv (Cornell University)|May 10, 2021

Anomaly Detection Techniques and Applications参考文献 43被引用数 5

ひとこと要約

本論文は、正常性に起因する光流体の二重性を活用して、異常フレームと正常フレームを区別する予測ベースの動画異常検出手法を提案する。1フレームから次のフレームの予測を、同じフレームから予測された光流体でガイドすることで、正常な動きのパターンは一貫して予測可能であるのに対し、異常な動きは誤差を引き起こすという事実を活用する。これにより、予測の質を基準に異常検出が可能になる。本手法は、標準ベンチマークで最先端の性能を達成した。

ABSTRACT

Video anomaly detection is a challenging task because of diverse abnormal events. To this task, methods based on reconstruction and prediction are wildly used in recent works, which are built on the assumption that learning on normal data, anomalies cannot be reconstructed or predicated as good as normal patterns, namely the anomaly result with more errors. In this paper, we propose to discriminate anomalies from normal ones by the duality of normality-granted optical flow, which is conducive to predict normal frames but adverse to abnormal frames. The normality-granted optical flow is predicted from a single frame, to keep the motion knowledge focused on normal patterns. Meanwhile, We extend the appearance-motion correspondence scheme from frame reconstruction to prediction, which not only helps to learn the knowledge about object appearances and correlated motion, but also meets the fact that motion is the transformation between appearances. We also introduce a margin loss to enhance the learning of frame prediction. Experiments on standard benchmark datasets demonstrate the impressive performance of our approach.

研究の動機と目的

• 教師なし学習を用いて、多様で稀にラベルが付与されていない異常イベントを動画監視で検出する課題に対処すること。
• 従来の手法がフレームと光流体の予測の間に潜在空間を共有することで生じる時間的矛盾を克服すること。
• 正常性に起因する光流体の二重性（正常な動きには役立つが、異常な動きには悪影響を及ぼす）を活用し、異常識別の性能を向上させること。
• 再構成から予測への外見-動き対応の拡張を実現し、光流体がピクセルの変位として物理的性質を持つことに整合させること。
• 予測フレームと入力フレームの差を強調するマージン損失を用いて、フレーム予測のロバスト性を向上させること。

提案手法

• 同じフレームから予測された光流体でガイドしながら、1つの現在フレームから次のフレームの外見を予測する。
• 正常なデータのみで訓練された正常性に起因する光流体ネットワークを用い、正常な行動に一致する動きのパターンを生成する。
• 畳み込み層を用いた領域対応学習戦略を適用し、外見特徴と動き特徴を整列させることで、直接のワープに比べてロバスト性を向上させる。
• 予測フレームが入力フレームと異なるように強制するマージン損失を導入し、動きの変化に対する感度を高める。
• PSNRに基づくパッチ評価を用いて予測品質をスコア化し、低いPSNRは異常検出の信頼性が高いことを示す。
• 光流体の二重性を活用する：正常フレームでは予測を向上させるが、異常フレームでは誤差を増大させるため、異常検出が可能になる。

実験結果

リサーチクエスチョン

• RQ1 正常性に起因する光流体の二重性を活用することで、正常な出来事では予測をより正確に、異常な出来事ではより不正確にすることで、異常検出性能が向上するか？
• RQ2 1フレームから光流体を予測することで、フレームと光流体を同時に予測する手法と比較して、動きモデリングがどのように向上するか？
• RQ3 マージン損失が、連続するフレーム間の動きの変化を識別する能力をどの程度向上させるか？
• RQ4 再構成から予測への外見-動き対応の拡張が、異常検出性能を向上させるか？
• RQ5 本手法は、標準的な動画異常検出ベンチマークにおいて、最先端の手法と比較してどの程度優れているか？

主な発見

• 提案手法は、UCSD Ped2、CUHK Avenue、ShanghaiTechの3つの標準ベンチマークで最先端の性能を達成した。
• CUHK AvenueではAUCが88.41を達成し、アブレーション実験で光流体のガイドによる3%の向上と、マージン損失による1%の向上が確認された。
• 予測は1GPUで77fps、全検出処理は47fpsで実行可能であり、リアルタイム推論が可能である。
• 可視化分析により、予測フレームにおける異常領域がぼやけやすく、正確性に欠けることが確認された。特に、飛び跳ねる子供や自転車の例では、一部が消失したり歪んだりする。
• PSNRに基づく異常スコアマスクは、異常領域を効果的に強調しており、濃いパッチは異常検出の信頼性が高いことを示している。
• アブレーションスタディにより、光流体のガイドとマージン損失の両方が重要であることが確認され、特に前者が性能向上に大きく寄与していることが分かった。