[論文レビュー] Deep Crowd Anomaly Detection: State-of-the-Art, Challenges, and Future Research Directions

Md. Haidar Sharif, Lei Jiao+1 more|arXiv (Cornell University)|Oct 25, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本調査は2020年から2022年の間の動画における群衆異常検出の最先端の深層学習手法をレビューし、アーキテクチャ、データセット、パフォーマンスを分析している。Pre-trained CNNs（例：VGGNet、DenseNet）はパフォーマンスにほとんど影響を及ぼさないことが判明し、データのスパarsity、時間的豊かさの欠如、モデルの解釈可能性、深層学習における数学的パラドックスといった主な課題を特定している。

ABSTRACT

Crowd anomaly detection is one of the most popular topics in computer vision in the context of smart cities. A plethora of deep learning methods have been proposed that generally outperform other machine learning solutions. Our review primarily discusses algorithms that were published in mainstream conferences and journals between 2020 and 2022. We present datasets that are typically used for benchmarking, produce a taxonomy of the developed algorithms, and discuss and compare their performances. Our main findings are that the heterogeneities of pre-trained convolutional models have a negligible impact on crowd video anomaly detection performance. We conclude our discussion with fruitful directions for future research.

研究の動機と目的

• 2020年から2022年までの間に発表された、深層学習に基づく群衆異常検出手法について、体系的なレビューを提供すること。
• 標準ベンチマークデータセット上で、自己符号化器、CNN、GANを含むさまざまな深層学習アーキテクチャのパフォーマンスを分析・比較すること。
• 実世界での導入における主な課題、例えばデータ不足、時間的多様性の欠如、モデルの解釈可能性といった問題を特定・議論すること。
• Pre-trainedモデルの影響、プライバシー保護技術、深層学習における数学的制限といった、未解決の研究課題を調査すること。
• 説明可能なAIや匿名化に配慮した特徴学習といった、異常検出分野における有望な今後の研究方向を提示することで、今後の研究を導くこと。

提案手法

• 本論文は、コンピュータビジョンおよびビデオ分析分野のトップクラスの国際会議・学術誌（2020年～2022年）に掲載された査読済み論文を包括的に調査している。
• 自己符号化器（例：3D-CAE、AAE、MoAE）、CNN（例：VGGNet、ResNet、DenseNet）、ハイブリッドモデル（例：TS-AE、ST-U-Net）といったアーキテクチャタイプに基づいて、手法を分類する分類体系を構築している。
• UCSD、UCSD Ped2、UCF-Crimeといったベンチマークデータセットを用い、AUC、EER、F1スコア、PSNRといった標準的な指標を用いてパフォーマンスを評価している。
• Pre-trained ImageNetモデルが、下流の異常検出パフォーマンスに与える影響を調査しており、特にVGGNetとDenseNetの比較を含んでいる。
• 活性化関数（例：ReLU）と正規化層（例：BatchNorm）が特徴表現および異常検出のロバスト性に与える役割を評価している。
• 注目メカニズム、時空間モデリング、 adversarial training の統合が、異常局所化および検出性能の向上にどのように寄与するかを検討している。

実験結果

リサーチクエスチョン

• RQ1 特にPre-trained CNNsを含む、さまざまな深層学習アーキテクチャが、動画における群衆異常検出のパフォーマンスにどのように影響を与えるか。
• RQ2 現在のベンチマークデータセットに内在する、実世界への適用性を阻害する主な制限要因は何か。
• RQ3 ReLU や BatchNorm といったアーキテクチャ的要素が、モデルの異常検出能力に及ぼす影響の程度はどの程度か。
• RQ4 深層異常検出システムにおけるモデルの解釈可能性および説明可能性をどのように向上できるか。
• RQ5 特に匿名化と特徴保持の文脈において、プライバシー保護型ビデオ分析に関連する未解決の課題は何か。

主な発見

• VGGNet や DenseNet といったPre-trained畳み込みモデルは、群衆動画の異常検出パフォーマンスにほとんど影響を及げないことが判明し、モデル選定よりもアーキテクチャ設計の重要性が示唆されている。
• UCSD や UCF-Crime といったベンチマークデータセットは、しばしば数分間の短い動画セグメントを用い、異常が密集してラベル付けされているが、実世界では異常がまれでスパースであるため、このようなデータセットの構成は現実の状況を反映していない。
• ReLU活性化関数は負の値を抑制することで特徴の多様性を制限するが、エンコーダーの最終ReLUおよびBatchNorm層を削除することでパフォーマンスが向上することが示された。
• 複数シーンのデータセットにおける時間的豊かさの欠如は、分布シフトを引き起こし、一般化性能を低下させるため、より長く多様な時間的シーケンスを含むデータの必要性が強調されている。
• モデルの解釈可能性は依然として大きな課題であり、深層ネットワークはしばしばブラックボックスとして扱われ、実際の導入において予測の説明を支援する取り組みは限定的である。
• ゲーデルの不完全性定理に根ざした根本的な数学的パラドックスにより、深層モデルが誤りを自己検証する能力に制限があり、安全が求められる応用分野では本質的に信頼できないことが示唆されている。