[論文レビュー] Self-Supervised Representation Learning for Visual Anomaly Detection

Rabia Ali, Muhammad Umar Karim Khan+1 more|arXiv (Cornell University)|Jun 17, 2020

Anomaly Detection Techniques and Applications参考文献 63被引用数 4

ひとこと要約

本論文は、光流を用いずに時空間特徴を学習するための自己教師ありフレーム順序予測タスクを、動画における視覚的異常検出のために提案する。ランダムにシャッフルされた動画フレームの元の順序を予測するようにモデルを訓練することで、正常な動画コンテンツの豊かな意味的・構造的表現を捉える。UCF101およびILSVRC2015データセットにおいて、SOTAのAUROC性能を達成し、M=5フレームかつスキップ=2の設定が最適な結果をもたらす。

ABSTRACT

Self-supervised learning allows for better utilization of unlabelled data. The feature representation obtained by self-supervision can be used in downstream tasks such as classification, object detection, segmentation, and anomaly detection. While classification, object detection, and segmentation have been investigated with self-supervised learning, anomaly detection needs more attention. We consider the problem of anomaly detection in images and videos, and present a new visual anomaly detection technique for videos. Numerous seminal and state-of-the-art self-supervised methods are evaluated for anomaly detection on a variety of image datasets. The best performing image-based self-supervised representation learning method is then used for video anomaly detection to see the importance of spatial features in visual anomaly detection in videos. We also propose a simple self-supervision approach for learning temporal coherence across video frames without the use of any optical flow information. At its core, our method identifies the frame indices of a jumbled video sequence allowing it to learn the spatiotemporal features of the video. This intuitive approach shows superior performance of visual anomaly detection compared to numerous methods for images and videos on UCF101 and ILSVRC2015 video datasets.

研究の動機と目的

• 先行研究で十分に検討されていない画像および動画における視覚的異常検出のための自己教師あり表現学習手法を評価すること。
• 自己教師あり学習を用いた動画異常検出において、空間的特徴と時間的特徴の相対的な寄与度を調査すること。
• 光流や外部の教師信号に依存せずに、動画内の時空間整合性を学習できる、シンプルで効果的な自己教師あり手法を開発すること。
• フレーム順序の学習が、分布外（異常）の動画インスタンスの検出を改善することを実証すること。

提案手法

• 本手法は、シャッフルされたMフレームの動画フレーム列が与えられたとき、元のフレーム順序を予測するフレーム順序予測タスクを導入する。
• モデルは正常な動画セグメントにのみ訓練され、分類ヘッドを用いて順序のインデックスを予測する。
• 空間的特徴は、各フレームに対して独立に適用される畳み込みニューラルネットワーク（例：ResNet）を用いて抽出される。
• 時間的推論は、モデルが正しい順序を再構築するように学習することで、暗黙的かつ自然に発現する。これにより、物体の位置、形状、運動ダイナミクスが捉えられる。
• 本手法はRGBフレームのみを用い、光流、ボクシングボックス、人手による時系列信号などは不要である。
• AUROCを最大化するために、フレーム数Mやフレームスキップなどのハイパーパrameterは経験的に調整される。

実験結果

リサーチクエスチョン

• RQ1 画像ベースの視覚的異常検出に微調整された既存の自己教師あり視覚表現学習手法は、どのように性能を示すか？
• RQ2 自己教師あり学習を用いた動画異常検出において、空間的特徴と時間的特徴の相対的な寄与度は何か？
• RQ3 光流や追加の教師信号に依存せずに、単純なフレーム順序予測タスクが時空間表現を効果的に学習できるか？
• RQ4 フレーム数M やフレームスキップといったハイパーパrameterが、本手法の性能にどのように影響するか？

主な発見

• フレーム順序予測タスクは、UCF101で76.4%、ILSVRC2015で75.5%のSOTAのAUROCを達成し、先行の自己教師ありおよびSOTA手法を上回った。
• M=5フレームかつ選択フレーム間に2フレームスキップ（例：{f1, f4, f7, f10, f13}）をとった設定が最適な性能を示し、非連続フレームが特徴の多様性を向上させることを示唆した。
• AOTなどの時間的特徴に依存するモデルよりも顕著に優れた性能を示し、異常検出において空間的構造が運動よりも重要であることを示した。
• RotNetのような画像ベースの自己教師あり手法は画像では競争力のある性能を示したが、本手法は動画異常検出においてそれらを上回った。
• モデルは分布内（正常）の動画コンテンツの強固な表現を学習し、分布外（異常）のインスタンスの正確な検出を可能にした。
• M=5を超えると性能が頭打ちとなり、長時間のシーケンスからの利益は減少し、連続フレームでは十分な変動が得られず、有効な学習が困難であることが示された。