[論文レビュー] Audio-visual Representation Learning for Anomaly Events Detection in Crowds

Junyu Gao, Maoguo Gong+1 more|arXiv (Cornell University)|Oct 28, 2021

Anomaly Detection Techniques and Applications参考文献 55被引用数 6

ひとこと要約

本稿では、3次元畳み込みニューラルネットワーク（3D CNN）を用いた動画特徴と、ログメルスペクトログ램から抽出したVGGishで符号化された音声特徴を融合する、マルチモーダルな音声視覚表現学習（AVRL）を提案する。この手法は、SHADEデータセットにおいて最先端の性能を達成し、特に視認性が低い状況でも顕著な精度向上を示しており、銃撃や倒すといったイベントの検出において音声が視覚的特徴と補完的役割を果たすことを示している。

ABSTRACT

In recent years, anomaly events detection in crowd scenes attracts many researchers' attention, because of its importance to public safety. Existing methods usually exploit visual information to analyze whether any abnormal events have occurred due to only visual sensors are generally equipped in public places. However, when an abnormal event in crowds occurs, sound information may be discriminative to assist the crowd analysis system to determine whether there is an abnormality. Compare with vision information that is easily occluded, audio signals have a certain degree of penetration. Thus, this paper attempt to exploit multi-modal learning for modeling the audio and visual signals simultaneously. To be specific, we design a two-branch network to model different types of information. The first is a typical 3D CNN model to extract temporal appearance features from video clips. The second is an audio CNN for encoding Log Mel-Spectrogram of audio signals. Finally, by fusing the above features, a more accurate prediction will be produced. We conduct the experiments on SHADE dataset, a synthetic audio-visual dataset in surveillance scenes, and find introducing audio signals effectively improves the performance of anomaly events detection and outperforms other state-of-the-art methods. Furthermore, we will release the code and the pre-trained models as soon as possible.

研究の動機と目的

• 視認性が低いか遮蔽が生じる状況で、視覚のみに依存する異常検出の限界を是正すること。
• 視覚データとは補完的役割を果たす音声信号の可能性を検証すること。
• 視覚的および音声的表現を効果的に統合することで、検出精度を向上させるマルチモーダル学習フレームワークを開発すること。
• 視覚的ヒントが劣化する低視認性状況において、音声特徴の有効性を実証すること。
• 同期された音声と動画を備えた合成データセットを用いて、監視応用における音声視覚表現学習のベースラインを確立すること。

提案手法

• 動画クリップから空間的・時間的特徴を抽出するために、3D ResNetバックボーンを採用し、動きと外観のダイナミクスを捉える。
• 生の音声信号をログメルスペクトログラムに変換し、VGGishモデルを用いて判別性の高い音声表現を学習する。
• 特徴レベルでの連結により、視覚的および音声的特徴を統合し、マルチモーダルな手がかりを共同でモデリングする。
• マルチクラス異常イベント分類のため、クロスエントロピー損失を用いてエンドツーエンドのAVRLフレームワークを訓練する。
• ランダムな時間的および空間的パッチを用いたデータ拡張を実施し、モデルのロバストネスと各モダリティの寄与度を評価する。
• 視覚のみ（3D ResNet）、音声のみ（VGGish）、音声視覚統合（AVRL）の各設定を比較するアブレーションスタディを実施する。

Figure 1: Some typical samples in SHADE dataset. The green box contains three groups of image sequences of Shoot, Knockdown, and Arrest, of which red boxes in frames highlight the incident location. The magenta box visualizes the audio signals and Mel-Spectrograms for the above crowd scenes.

実験結果

リサーチクエスチョン

• RQ1 視覚データが遮蔽されたり劣化したりする状況でも、音声信号が異常検出性能を向上させることができるか？
• RQ2 銃撃や争ったといった特定の異常イベントを検出する際、視覚的および音声的表現がどのように異なった貢献をしているか？
• RQ3 3D-CNNと音声CNNの特徴を統合する最適な統合戦略は何か？
• RQ4 特に視覚品質が低い暗いシーンにおいて、AVRLの性能はどのように変化するか？
• RQ5 空間的変更と時間的変更のどちらが、視覚的および音声的表現のロバストネスにより大きな影響を与えるか？

主な発見

• AVRLフレームワークは、'shoot'イベントでトップ1精度95.9%を達成し、視覚のみの3D ResNet（89.8%）および音声のみのVGGish（91.8%）を顕著に上回った。
• 視覚品質が悪いとされるダークサブセットでは、'fight'、'run'、'chase'イベントの検出精度が、視覚のみの手法よりもAVRLが向上した。
• 音声のみのVGGishは、'shoot'イベントで高い精度（91.8%）を達成しており、特定の異常に対しては明確な音声パターンが強く判別的であることが示された。
• アブレーションスタディの結果、視覚的特徴が平均的に音声的特徴よりも寄与度が高かったが、音声的特徴はすべてのカテゴリで性能向上に寄与した。
• 空間的パッチが時間的パッチよりも精度に強い悪影響を与えたため、イベント認識において空間的コンテキストが時間的連続性よりも重要であることが示された。
• 空間的パッチの割合が80%に達すると、一部のクラスで視覚のみの性能が音声のみの性能を下回り、過度な視覚的劣化がモデルを誤導する可能性があることが示された。

Figure 2: AVRL for abnormal events detection in crowd scenes. The details of 3D ResNet and VGGish is the same as [ 28 ] and [ 29 ] respectively.