[論文レビュー] Knife and Threat Detectors

David Noever, Sam E. Miller Noever|arXiv (Cornell University)|Apr 4, 2020

Forensic and Genetic Research参考文献 25被引用数 4

ひとこと要約

本論文は、コンピュータビジョンおよびディープラーニングを活用して自動的にナイフ脅しを検出するためのマルチメソッドフレームワークを提案する。MobileNetを用いて効率的な分類（95%の正確性、2.2 MB未満のメモリ使用量）、Mask R-CNNを用いて手とナイフの局所化、PoseNetを用いて解剖学的脅しの推論を実現している。主な貢献は、監視におけるリアルタイム脅し検出を実現する体系的かつ低リソースなパイプラインであり、整理されたネガティブなトレーニングデータを用いることで、誤検出と見逃しを最小限に抑えることである。

ABSTRACT

Despite rapid advances in image-based machine learning, the threat identification of a knife wielding attacker has not garnered substantial academic attention. This relative research gap appears less understandable given the high knife assault rate (>100,000 annually) and the increasing availability of public video surveillance to analyze and forensically document. We present three complementary methods for scoring automated threat identification using multiple knife image datasets, each with the goal of narrowing down possible assault intentions while minimizing misidentifying false positives and risky false negatives. To alert an observer to the knife-wielding threat, we test and deploy classification built around MobileNet in a sparse and pruned neural network with a small memory requirement (< 2.2 megabytes) and 95% test accuracy. We secondly train a detection algorithm (MaskRCNN) to segment the hand from the knife in a single image and assign probable certainty to their relative location. This segmentation accomplishes both localization with bounding boxes but also relative positions to infer overhand threats. A final model built on the PoseNet architecture assigns anatomical waypoints or skeletal features to narrow the threat characteristics and reduce misunderstood intentions. We further identify and supplement existing data gaps that might blind a deployed knife threat detector such as collecting innocuous hand and fist images as important negative training sets. When automated on commodity hardware and software solutions one original research contribution is this systematic survey of timely and readily available image-based alerts to task and prioritize crime prevention countermeasures prior to a tragic outcome.

研究の動機と目的

• 年間の襲撃件数が非常に多いにもかかわらず、自動ナイフ脅し検出に関する研究がまだ十分に行われていない問題に取り組む。
• 画像ベースの機械学習を用いて、危険なナイフ所持者を特定する際の誤検出と見逃しを低減する。
• メモリ使用量が最小限に抑えられた軽量で、コンsumerハードウェアに適合するデプロイ可能なシステムを開発する。
• データギャップを特定・解決するため、非危険なポーズの手や拳の画像をネガティブなトレーニング例として収集する。

提案手法

• MobileNetに基づくスパースかつプルーニングされたニューラルネットワークを訓練し、2.2 MB未満のメモリ使用量で高速かつ正確なナイフ脅し分類を実現する。
• Mask R-CNNモデルを用いて、1枚の画像内で手とナイフの両方をセグメンテーションおよび局所化し、相対的位置分析による脅しの評価を可能にする。
• PoseNetを用いて解剖学的ウェイポイントを検出することで、骨格特徴の分析から脅しのポーズや意図を推論する。
• 分類、局所化、ポーズベースの推論を統合することで、複数のモデルを組み合わせて脅しスコアを向上させる。
• 誤検出を低減するために、非危険なポーズの手や拳の画像を含むネガティブなトレーニングデータを収集する。
• 市販のソフトウェアを用いてコンsumerハードウェアにデプロイ可能なフレームワークを設計し、実世界への実用的適用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 軽量なディープラーニングモデルは、低メモリ使用量を維持しながら、どのように高い正確性でナイフ脅し検出を達成できるか？
• RQ2 手とナイフの空間的局所化は、脅し評価の正確性をどのように向上させるか？
• RQ3 骨格特徴からのポーズ推定は、脅しの意図の解釈をどのように向上させられるか？
• RQ4 整理されたネガティブな例（例：手や拳）の導入は、脅し検出における誤検出率にどのように影響するか？
• RQ5 単一手法アプローチと比較して、マルチモデルシステムは全体的な脅し検出性能をどの程度向上できるか？

主な発見

• MobileNetベースの分類器は、2.2メガバイト未満のモデルサイズで95%のテスト正確性を達成し、低リソースシステムへの効率的なデプロイを可能にした。
• Mask R-CNNモデルは、画像内でナイフと手の両方を正常に局所化し、相対的位置分析を用いて上向きの脅しポーズを推論できた。
• PoseNetによる骨格特徴検出は、危険でないポーズとの区別を可能にし、意図の誤解を低減した。
• 手や拳の画像を含むネガティブなトレーニングデータの導入により、誤検出の検出が顕著に減少した。
• マルチモデルフレームワークは、分類、局所化、ポーズ分析を統合することで、脅し検出性能が向上した。
• 標準的なソフトウェアスタックを用いて、市販ハードウェアにデプロイ可能であり、実世界のリアルタイム監視統合が可能である。