[論文レビュー] Challenges in Time-Stamp Aware Anomaly Detection in Traffic Videos

Kuldeep Biradar, Ayushi Gupta+2 more|arXiv (Cornell University)|Jun 11, 2019

Anomaly Detection Techniques and Applications参考文献 26被引用数 6

ひとこと要約

本論文では、背景モデリング、物体局所化、タイムスタンプ統合異常スコアリングを活用して、希少な異常イベントの検出を向上させる、タイムスタンプに注意を払った3段階の異常検出フレームワークを提案する。NVIDIA AI City Challenge 2019 Track 3 データセット上で評価された結果、時間的文脈とタイムスタンプに注意を払った意思決定を組み込むことで、異常検出性能が向上し、データの不均衡とスパarsityの課題に対処している。

ABSTRACT

Time-stamp aware anomaly detection in traffic videos is an essential task for the advancement of the intelligent transportation system. Anomaly detection in videos is a challenging problem due to sparse occurrence of anomalous events, inconsistent behavior of a different type of anomalies and imbalanced available data for normal and abnormal scenarios. In this paper, we present a three-stage pipeline to learn the motion patterns in videos to detect a visual anomaly. First, the background is estimated from recent history frames to identify the motionless objects. This background image is used to localize the normal/abnormal behavior within the frame. Further, we detect an object of interest in the estimated background and categorize it into anomaly based on a time-stamp aware anomaly detection algorithm. We also discuss the challenges faced in improving performance over the unseen test data for traffic anomaly detection. Experiments are conducted over Track 3 of NVIDIA AI city challenge 2019. The results show the effectiveness of the proposed method in detecting time-stamp aware anomalies in traffic/road videos.

研究の動機と目的

• 交通動画ストリームにおける希少で一貫性のない、不均衡な異常イベントを検出する課題に対処すること。
• タイムスタンプに注意を払った分析を通じて時間的文脈を組み込むことで、未知のテストデータにおける異常検出性能を向上させること。
• 背景推定とオブジェクトレベルの分析を用いて、正常および異常行動を局所化する堅牢なパイプラインを開発すること。
• 複雑な交通状況を含む実世界のベンチマークデータセット上で、この手法を評価すること。
• 未知の交通動画データへの異常検出モデルの一般化における主な制限要因と課題を特定すること。

提案手法

• まず、最近の動画フレームから背景モデルを推定し、動かない物体を特定して、通常のシーンコンテンツのベースラインを確立する。
• 次に、推定された背景上で注目すべき移動物体を検出し、それらを異常分類のために分離する。
• タイムスタンプに注意を払った異常検出アルゴリズムが、時間経過に伴う物体行動を評価し、時間的文脈を統合して、正常な変動と異常を区別する。
• フレーム間での動きパターン学習を用いて、典型的な交通行動をモデル化し、逸脱を特定する。
• 本アプローチは、多様な都市部の交通シーンを含むNVIDIA AI City Challenge 2019 Track 3 データセット上で訓練および評価される。
• システムはタイムスタンプメタデータを活用して異常スコアを精緻化し、時間的シーケンスにおける検出信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 タイムスタンプ情報は、交通動画の異常検出モデルにどのように効果的に統合可能か？特に希少なイベントの検出を向上させるために。
• RQ2 実世界の交通状況において、タイムスタンプに注意を払った異常検出モデルを未知のテストデータに一般化する際の主な課題は何か？
• RQ3 背景モデリングは、複雑な交通動画シーケンスにおいて、正常行動と異常行動をどのように分離に寄与するか？
• RQ4 時間的文脈を統合することで、希少で一貫性のない異常の検出がどの程度向上するか？
• RQ5 現実世界の不均衡な交通動画データに適用された際、現在のアプローチの性能上の制限は何か？

主な発見

• 提案された3段階のパイプラインは、背景モデリングとタイムスタンプに注意を払ったスコアリングを組み合わせることで、交通動画における異常検出を効果的に実現している。
• タイムスタンプを通じた時間的文脈の統合により、モデルは希少な異常と正常な変動を区別する能力が向上している。
• NVIDIA AI City Challenge 2019 Track 3 データセットの未知のテストセットにおいて、本手法はより高いロバスト性を示している。
• タイムスタンプ統合があっても、データの不均衡と未知のシナリオへの一般化の課題は依然として顕著である。
• 背景推定の活用により、移動物体の局所化が向上し、通常の交通状況における誤検出が低減されている。
• 結果は、時間的文脈を考慮したタイムスタンプに注意を払った分析が、実世界の交通動画応用における異常検出性能を向上させる有効性を確認している。