[論文レビュー] Attentioned Convolutional LSTM InpaintingNetwork for Anomaly Detection in Videos

Itamar Ben-Ari, Ravid Shwartz-Ziv|arXiv (Cornell University)|Nov 26, 2018

Anomaly Detection Techniques and Applications参考文献 8被引用数 4

ひとこと要約

本論文では、部分的にマスクされたフレームと過去のフレームを入力として用い、現在のフレームを再構築することで、教師なし動画異常検出を実現するアテンション付き畳み込みLSTMインpaintingネットワークを提案する。モデルは空間的・時系列的文脈モデリングを強化するための畳み込みアテンション機構を採用し、再構築誤差（対数尤度）を異常スコアとして用いる。破損したMoving MNISTベンチマークにおいて87%の等誤差率（EER）を達成し、VPNおよびConv-LSTMベースラインを上回る性能を示した。

ABSTRACT

We propose a semi-supervised model for detecting anomalies in videos inspiredby the Video Pixel Network [van den Oord et al., 2016]. VPN is a probabilisticgenerative model based on a deep neural network that estimates the discrete jointdistribution of raw pixels in video frames. Our model extends the Convolutional-LSTM video encoder part of the VPN with a novel convolutional based attentionmechanism. We also modify the Pixel-CNN decoder part of the VPN to a frameinpainting task where a partially masked version of the frame to predict is given asinput. The frame reconstruction error is used as an anomaly indicator. We test ourmodel on a modified version of the moving mnist dataset [Srivastava et al., 2015]. Our model is shown to be effective in detecting anomalies in videos. This approachcould be a component in applications requiring visual common sense.

研究の動機と目的

• エッジデバイスで効率的に動作するリアルタイムで教師なしの動画異常検出システムの開発。
• 動的畳み込みアテンション機構を統合することで、再構築ベースの異常検出における空間的および時系列的文脈モデリングの向上。
• 部分的にマスクされた入力フレームを用いることで、逐次的なマスク畳み込みを必要とせず、並列推論を可能にすること。
• 動画シーケンスにおける空間的（ピクセルの破損）および時系列的（フレーム順序の逆転）の両方の異常を検出するための効果の評価。

提案手法

• モデルは、動画フレームのシーケンスから空間的・時系列的特徴を抽出するための畳み込みLSTMエンコーダを用いる。
• 新規の畳み込みベースのアテンション機構が、入力に依存するフィルタを生成し、コンテキスト窓内の局所的な空間的構造の認識を強化する。
• デコーダの入力には、グリッドマスクを用いて約95%のピクセルがマスクされた現在のフレームが含まれており、未マスクの周辺領域のコンテキストを用いて欠損領域を再構築できる。
• デコーダは、自己回帰的依存関係の流れを維持するためのマスク畳み込みを用いる修正版Pixel-CNNであり、並列にピクセル値を予測してフレームインパインティングを実行する。
• 損失関数は、予測された分布に基づく真のピクセル値の負の対数尤度であり、これを異常スコアとして用いる。
• 推論時には、低い対数尤度値が異常を示し、モデルは予期しないまたは破損したピクセル値に対して低い確率を割り当てる。

実験結果

リサーチクエスチョン

• RQ1 標準的なグローバルアテンションやアテンションなしと比較して、畳み込みアテンション機構は再構築ベースの異常検出における空間的文脈モデリングを向上させることができるか？
• RQ2 部分的にマスクされたフレームを入力として用いることで、再構築品質を維持しつつ、効果的な並列推論が可能になるか？
• RQ3 提案手法は、ベースラインモデル（VPNおよびConv-LSTM）と比較して、動画シーケンスにおける空間的および時系列的異常の両方を効果的に検出できるか？
• RQ4 アテンションとマスクインパインティングの組み合わせが、ベンチマークデータセットにおける異常検出性能をどの程度向上させるか？

主な発見

• 提案手法は、破損したMoving MNISTデータセットにおいて87%の等誤差率（EER）を達成し、ベースラインのConv-LSTM（70.3%）およびVPN（82.1%）を上回った。
• マスクされたフレームを入力から除外すると、EERは84.6%に低下し、効果的なインパインティングと異常検出を可能にするためにマスク入力が極めて重要であることが示された。
• 畳み込みアテンション機構を省略するとEERは85.7%に上昇し、アテンションが局所的な空間的構造を捉える能力を顕著に向上させていることが示された。
• モデルは、3×3の黒いピクセルの破損といった空間的異常、およびフレーム順序の逆転といった時系列的異常を、損失マップの対応する領域に高い損失値を示すことで効果的に検出できた。
• 再構築誤差（対数尤度）は、異常ピクセルを効果的に特定できており、ゼロ値の黒い四角形のような破損ピクセルに対して低い確率予測を行う。
• 約95%のピクセルがマスクされたグリッドマスクの使用により、モデルは空間的破損に対してより頑健になるよう、時系列的コンテキストと未マスクの隣接ピクセルに依存するよう強制された。