[論文レビュー] Technical Report of the Video Event Reconstruction and Analysis (VERA) System -- Shooter Localization, Models, Interface, and Beyond

Junwei Liang, Jay D. Aronson+1 more|arXiv (Cornell University)|May 26, 2019

Video Analysis and Summarization参考文献 25被引用数 5

ひとこと要約

VERA は機械学習および物理学に基づくシステムであり、メタデータを欠いた非構造的なソーシャルメディア動画から発砲者の特定を可能にする。動画の同期処理、音声信号による発砲検出、超音速弾丸および音波の物理学的モデルを用いることで、2017年ラスベガス銃撃事件において、3本の動画と最初の数発の発砲音のみを用いて発砲者を正確に特定した。

ABSTRACT

Every minute, hundreds of hours of video are uploaded to social media sites and the Internet from around the world. This material creates a visual record of the experiences of a significant percentage of humanity and can help illuminate how we live in the present moment. When properly analyzed, this video can also help analysts to reconstruct events of interest, including war crimes, human rights violations, and terrorist acts. Machine learning and computer vision can play a crucial role in this process. In this technical report, we describe the Video Event Reconstruction and Analysis (VERA) system. This new tool brings together a variety of capabilities we have developed over the past few years (including video synchronization and geolocation to order unstructured videos lacking metadata over time and space, and sound recognition algorithms) to enable the reconstruction and analysis of events captured on video. Among other uses, VERA enables the localization of a shooter from just a few videos that include the sound of gunshots. To demonstrate the efficacy of this suite of tools, we present the results of estimating the shooter's location of the Las Vegas Shooting in 2017 and show that VERA accurately predicts the shooter's location using only the first few gunshots. We then point out future directions that can help improve the system and further reduce unnecessary human labor in the process. All of the components of VERA run through a web interface that enables human-in-the-loop verification to ensure accurate estimations. All relevant source code, including the web interface and machine learning models, is freely available on Github. We hope that researchers and software developers will be inspired to improve and expand this system moving forward to better meet the needs of human rights and public safety.

研究の動機と目的

• メタデータが欠落した非構造的なソーシャルメディア動画から、現実世界の出来事の再構築に取り組む。
• 動画が時刻やGPSメタデータを欠いていても、銃撃事件（大規模銃撃事件など）における発砲者の正確な特定を可能にする。
• 手動分析に依存するのを減らすために、自動化された動画同期処理、発砲検出、物理学的局所化を統合する。
• 人間が関与する検証を組み込んだスケーラブルなオープンソースツールを提供し、人権調査および公共の安全対策を支援する。
• 生産環境向けのウェブベースのシステムを提供し、機械学習、音声処理、地理空間モデリングを統合して、出来事の再構築を実現する。

提案手法

• 視覚的および音声的手がかりを用いて、非構造的な動画をグローバルタイムラインに同期させる半自動の動画同期処理を採用する。
• 機械学習に基づく発砲検出を適用し、音声セグメント内の muzzle blast（発砲音）および衝撃波音を特定する。
• 超音速弾丸の物理学的モデルを用いて、複数のカメラ位置での音の到着時間差を推定する。
• 発砲成分（muzzle blast および衝撃波）の到着時間差を用いて、双曲線的三辺測定法により発砲者の可能性のある位置を三角測定する。
• 地図上にヒートマップおよび双曲線的信頼領域を可視化し、ユーザーが編集可能なカメラ位置マーカーを提供する。
• PHPフ론トエンドとPythonバックエンド間で暗号化された通信を実施するウェブインターフェースを統合し、リアルタイム処理および進捗状況の更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 メタデータのない状態で、非構造的なソーシャルメディア動画を効果的に同期し、時系列的に整列させることは可能か？
• RQ2 一般公開の動画から得られる低品質でノイズの多い音声において、発砲イベントをどれほど正確に検出し、時系列的に特定できるか？
• RQ3 超音速弾丸および音波伝播の物理学的モデルを用いることで、音声のみの手がかりから発砲者の位置特定をどの程度向上できるか？
• RQ4 人間が関与するシステムは、最小限のユーザー入力で、現実世界の出来事再構築における誤りを低減し、信頼性を向上させられるか？
• RQ5 人権保護および公共の安全分野への応用を支援するため、最小限のインfra構成負荷で運用可能なスケーラブルなオープンソースシステムをどのようにアーキテクチャ設計できるか？

主な発見

• VERA は、3本の一般公開済み動画と最初の数発の発砲音のみを用いて、2017年ラスベガス銃撃事件における発砲者を正確に特定した。
• 音声の到着時間差に基づくシステムの推定発砲者位置は、実際の位置（マンダリーレイ・ベイ・ホテルの北側エントランス）とよく一致した。
• 複数の動画からのヒートマップおよび双曲線的三辺測定法の可視化結果が、真の発砲者位置に収束しており、高い空間的正確性を示した。
• システムは、最小限のメタデータに依存し、音声信号処理および物理学的モデルのみに依拠することで、正確な結果を達成した。
• ウェブインターフェースにより、効率的な人間が関与する検証が可能となり、ユーザーがカメラ位置を修正し、局所化の信頼性を向上させた。
• すべてのソースコード、モデル、およびウェブインターフェースは GitHub で公開されており、人権保護および公共の安全分野の用途に向けたコミュニティによる拡張・改善が可能である。