[論文レビュー] Towards a Forensic Event Ontology to Assist Video Surveillance-based Vandalism Detection

Faranak Sobhani, Umberto Straccia|arXiv (Cornell University)|Mar 21, 2019

Video Analysis and Summarization参考文献 27被引用数 7

ひとこと要約

本論文は、DOLCE基礎的オントロジーから派生したOWL 2ベースのフォレンジックイベントオントロジーを提案し、動画監視における複雑な犯罪的出来事の意味的表現を標準化する。手作業で作成した論理的ルールと機械学習によるルールを併用することで、破損、暴動、異常行動などの出来事の自動分類を可能にし、2011年ロンドン暴動の実際のCCTV映像データにおいて、大多数の出来事タイプで高い再現率（最大1.00）とF1スコア（最大1.00）を達成した。

ABSTRACT

The detection and representation of events is a critical element in automated surveillance systems. We present here an ontology for representing complex semantic events to assist video surveillance-based vandalism detection. The ontology contains the definition of a rich and articulated event vocabulary that is aimed at aiding forensic analysis to objectively identify and represent complex events. Our ontology has then been applied in the context of London Riots, which took place in 2011. We report also on the experiments conducted to support the classification of complex criminal events from video data.

研究の動機と目的

• 動画監視におけるフォレンジックイベント表現のための標準的で体系的なオントロジーの欠如に対処すること。
• 監視システム間での相互運用性と意味的検索を支援すること。
• 論理的ルールを用いて低レベルの動画アノテーションから高レベルの犯罪的出来事を自動分類すること。
• 手作業で定義されたルールと機械学習で得たルールの両方が、現実世界の犯罪的出来事の分類においてどの程度有効であるかを評価すること。
• 犯罪捜査における動画データのフォレンジック分析のための再利用可能で拡張可能なフレームワークを提供すること。

提案手法

• オントロジーはDOLCE+DnS Ultraliteに基づき構築され、時間的出来事（パーデュランス）と持続的実体（エンドュランス）の基礎的クラスを拡張して、フォレンジック関連の出来事と物体をモデル化している。
• 哲学的および言語学的根拠に基づいた階層的イベント語彙を採用することで、意味的一致性と相互運用性を確保している。
• 記述論理（DL）ルール、特に一般概念包含（GCIs）を用いて、高レベルの出来事を低レベルの出来事の合成として定義している。
• 手作業によるGCIsは分野の専門知識に基づいて構築され、機械学習によるGCIsは、意味的にアノテートされた動画データを用いてDL-LearnerのCELOEアルゴリズムで生成された。
• 評価は5分割交差検証を用い、各出来事クラスについて適合率、再現率、F1スコアを計算している。
• 手作業で構築したGCIsと学習済みGCIsを統合して、統合性能を評価し、推論エンジンを用いてオントロジーから出来事インスタンスを推論している。

実験結果

リサーチクエスチョン

• RQ1 形式的でOWL 2ベースのオントロジーは、動画監視データにおける複雑なフォレンジック出来事を効果的に表現できるか？
• RQ2 手作業で定義した論理的ルールと機械学習で得たルールの両方が、動画アノテーションからの高レベルの犯罪的出来事の分類において、どのように比較されるか？
• RQ3 このオントロジーは、現実世界の監視捜査において、相互運用性と意味的検索をどの程度サポートできるか？
• RQ4 本システムは、破損、暴動、異常行動などの出来事について、実際のCCTV映像データ上でどの程度の分類性能を示すか？
• RQ5 学習済みと手作業で作成したGCIsの統合により、単独でのアプローチよりも分類性能が向上するか？

主な発見

• 手作業で構築したGCIsは、'構造損傷'と'投擲'の出来事において、適合率と再現率がともに1.00を達成し、F1スコアは1.00と0.92であった。
• '混雑'の出来事は適合率0.96、再現率1.00を達成し、F1スコアは0.98であった。
• '異常行動'と'車両損傷'の出来事は高い再現率（0.99および0.98）を示したが、適合率は中程度（0.69）であり、F1スコアは0.81であった。
• 機械学習で得たGCIsは手作業のものと同等の性能を示し、マイクロ平均F1は0.845、マクロ平均F1は0.649であった。
• DL-Learnerを用いて'破損'と'暴動'のGCIsを学習できず、これは学習済みケースにおける'暴動'の再現率（0.24）とF1スコア（0.38）の低さに反映された。
• 手作業で構築したGCIsと学習済みGCIsを統合しても、手作業のみのベースラインを上回る全体的な性能向上は得られず、'暴動'の分類は依然として不十分であった。