[論文レビュー] MULTICAST: MULTI Confirmation-level Alarm SysTem based on CNN and LSTM to mitigate false alarms for handgun detection in video-surveillance

Roberto Olmos, Siham Tabik+3 more|arXiv (Cornell University)|Apr 23, 2021

Fire Detection and Safety Systems参考文献 23被引用数 4

ひとこと要約

MULTICAST は、CNN を用いた空間的確認とLSTM を用いた時間的トラッキングを組み合わせることで、動画監視における誤検出を低減する3段階のハンドガン検出システムである。空間時間的一致性を活用することで、Faster R-CNN に比べて誤検出率を80% 削減し、リアルタイムのセキュリティ応用における信頼性を顕著に向上させる。

ABSTRACT

Despite the constant advances in computer vision, integrating modern single-image detectors in real-time handgun alarm systems in video-surveillance is still debatable. Using such detectors still implies a high number of false alarms and false negatives. In this context, most existent studies select one of the latest single-image detectors and train it on a better dataset or use some pre-processing, post-processing or data-fusion approach to further reduce false alarms. However, none of these works tried to exploit the temporal information present in the videos to mitigate false detections. This paper presents a new system, called MULTI Confirmation-level Alarm SysTem based on Convolutional Neural Networks (CNN) and Long Short Term Memory networks (LSTM) (MULTICAST), that leverages not only the spacial information but also the temporal information existent in the videos for a more reliable handgun detection. MULTICAST consists of three stages, i) a handgun detection stage, ii) a CNN-based spacial confirmation stage and iii) LSTM-based temporal confirmation stage. The temporal confirmation stage uses the positions of the detected handgun in previous instants to predict its trajectory in the next frame. Our experiments show that MULTICAST reduces by 80% the number of false alarms with respect to Faster R-CNN based-single-image detector, which makes it more useful in providing more effective and rapid security responses.

研究の動機と目的

• 動画監視における単一画像検出器を用いたリアルタイムのハンドガン検出における高い誤検出率および誤検出率の問題に対処する。
• 動画シーケンスにおける時間的一致性を活用しない既存のアプローチの限界を克服する。
• 空間的および時間的証拠に基づく確認レベルを用いたマルチステージのアラームシステムを開発し、検出の信頼性を向上させる。
• ハンドガン検出のための軌道予測を訓練および評価可能な新しいデータセット、HandgunTrajector を作成する。
• 人為的介入を最小限に抑え、自信度を段階的に評価する自動化された検出により、より迅速かつ正確なセキュリティ対応を可能にする。

提案手法

• 各動画フレーム内の潜在的なハンドガン領域を特定するために、最初の段階としてFaster R-CNN を使用する。
• 局所的特徴を分析し、形状、テクスチャ、文脈に基づいて誤検出を排除することで、検出の妥当性を確認するCNN を用いた空間的確認段階を適用する。
• 連続するフレーム間でのハンドガンの軌道をモデル化することで、運動の一貫性を検証するLSTM を用いた時間的確認段階を実装する。
• 各段階で検出の信頼性を定量化する確認レベル（CL）を割り当て、CL が高くなるほど真のハンドガンである証拠が強くなるようにする。
• すべての確認レベルを通過した検出のみがアラームを発動するように、3段階を段階的に接続したアーキテクチャを統合する。
• 新たに導入されたHandgunTrajector データセットを用いてLSTM をトレーニングし、時間的モデルの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LSTM を用いた時間的モデリングは、単一画像検出器が達成可能な範囲を超えて、ハンドガン検出における誤検出を低減できるか？
• RQ2 空間的および時間的検証を組み合わせたマルチステージの確認システムは、検出の信頼性を向上させるのにどの程度効果的か？
• RQ3 空間時間的一致性は、反射物体や一時的な検出による誤検出をどの程度是正できるか？
• RQ4 軌道予測により、部分的遮蔽、急激な照明変化、ブレによる誤検出（見逃し）を回復できるか？
• RQ5 提案手法は、最先端の単一画像検出器と比較して、誤検出低減の観点からどの程度定量的に優れているか？

主な発見

• MULTICAST は、Faster R-CNN をアラームシステムとして使用した場合に比べ、誤検出率を80% 削減し、誤検出率を80% から20% に低下させた。
• 反射や一時的・文脈的に誤解を招くもの（ガラスの反射やスマートフォンなど）による誤検出のうち60% を除去した。
• 反射面によって引き起こされる継続的な誤検出は、空間的確認段階によって効果的に抑制された。
• 部分的遮蔽、急激な照明変化、運動ブレによって生じた誤検出の100% が、時間的確認段階によって回復された。
• LSTM を用いた軌道モデルは、フレーム間でのハンドガンの運動を効果的に予測し、初期検出器が見逃した検出の回復を可能にした。
• HandgunTrajector データセットは、時間的モデルの効果的なトレーニングを可能にし、実世界の動画環境下でも本システムの頑健性に貢献した。