[論文レビュー] Complex Events Recognition under Uncertainty in a Sensor Network

Atul Kanaujia, Tae Eun Choe+1 more|arXiv (Cornell University)|Nov 1, 2014

Anomaly Detection Techniques and Applications参考文献 32被引用数 6

ひとこと要約

本稿では、不確実性下でのマルチセンサー動画ストリームにおける複雑なイベント認識のためのマルコフ論理ネットワーク（MLN）ベースのシステムを提案する。確率的1階述語論理とソフトルール、学習された重みを用いて、異種の視覚的データを統合する。4つの重複しないセンサーでバッグ泥棒やバッグ落下といった複雑なイベントを検出する際、77.8%の精度と80.7%の再現率を達成し、不完全または曖昧な観測に対してもスケーラビリティと耐性を示した。

ABSTRACT

Automated extraction of semantic information from a network of sensors for cognitive analysis and human-like reasoning is a desired capability in future ground surveillance systems. We tackle the problem of complex decision making under uncertainty in network information environment, where lack of effective visual processing tools, incomplete domain knowledge frequently cause uncertainty in the visual primitives, leading to sub-optimal decisions. While state-of-the-art vision techniques exist in detecting visual entities (humans, vehicles and scene elements) in an image, a missing functionality is the ability to merge the information to reveal meaningful information for high level inference. In this work, we develop a probabilistic first order predicate logic(FOPL) based reasoning system for recognizing complex events in synchronized stream of videos, acquired from sensors with non-overlapping fields of view. We adopt Markov Logic Network(MLN) as a tool to model uncertainty in observations, and fuse information extracted from heterogeneous data in a probabilistically consistent way. MLN overcomes strong dependence on pure empirical learning by incorporating domain knowledge, in the form of user-defined rules and confidences associated with them. This work demonstrates that the MLN based decision control system can be made scalable to model statistical relations between a variety of entities and over long video sequences. Experiments with real-world data, under a variety of settings, illustrate the mathematical soundness and wide-ranging applicability of our approach.

研究の動機と目的

• 視覚的データが不確実、不完全、またはセンサー間で一貫性がないセンサーネットワークにおける複雑なイベント認識の課題に対処すること。
• 低レベルの視覚的検出と記号的ドメイン知識を確率的に整合的な方法で統合することで、高レベルの認知的推論を可能にすること。
• 欠落またはノイズの多い原始的検出に対して失敗する伝統的なルールベースやHMMベースのシステムの限界を克服すること。
• 階層的推論を用いて、長時間の動画シーケンスおよび複数の相互作用するエージェントにおける確率的推論のスケーラビリティを高めること。
• 学習された類似度メトリクスと重み付き論理ルールを用いて、クロスセンサー対象関連付けとイベント検出の正確性を向上させること。

提案手法

• 各ルールにその信頼度を反映する重みを割り当てるソフトルールを用いた確率的1階述語論理（FOPL）で複雑なイベントをモデル化する。
• マルコフ論理ネットワーク（MLN）を用いて、視覚的観測の不確実性を表現し、異種のデータソース間で確率的推論を実行する。
• 低レベルの視覚的検出（例：人、車両）をMLN内の証拠として統合し、検出の信頼度を反映する重み付き述語を用いる。
• 計算コストを低減するための階層的推論を適用し、長時間の動画シーケンスおよび多数の地面原子に対してスケーラビリティを確保する。
• TUFFYをMLN推論エンジンとして使用し、イベントルールには手動で設定された重み、クロスセンサー対象関連付けには学習された重みを適用する。
• 個々の人物マスクに依存せずに、リlevance Component Analysis（RCA）を用いて人対象関連付けを強化し、マッチングの正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 観測が不確実、不完全、またはセンサー間で一貫性がない場合、マルチセンサー動画ストリームにおける複雑なイベントはどのように認識できるか？
• RQ2 MLNのような確率的論理フレームワークは、不確実性下での複雑なマルチエージェント相互作用を効果的にモデル化・推論できるか？
• RQ3 真値マスクが存在しない状況で、学習された類似度メトリクスはクロスセンサー対象関連付けの精度をどの程度向上できるか？
• RQ4 複数のセンサーに跨る長時間・高アリティの複雑なイベント認識において、MLNベースの推論はどの程度スケーラブルか？
• RQ5 MLNにおけるソフトルールは、一部のサブイベントが検出されない、または曖昧な場合でも、頑健な推論を提供できるか？

主な発見

• MLNベースのシステムは、4つの重複しないセンサーでバッグ泥棒やバッグ落下といった複雑なイベントを検出する際、77.8%の精度と80.7%の再現率を達成した。
• テスト動画シーケンスでは4つの複雑なイベントのうち3つを正常に検出できたが、4番目のイベントは不具合のある属性検出器のため誤分類された。
• リlevance Component Analysis（RCA）は、個々の人物マスクを用いない状況でも、サリエンシーに基づく対象関連付けアルゴリズムの正確性を顕著に向上させた。
• 複雑なバッグ泥棒イベントの推論には、2.8 GHzのクアッドコアマシンで約1時間かかった。高アリティの述語により、約40万個の地面原子が生成された。
• 多くのイベントタイプにおいて高い再現率（最大1.0）を示したが、誤検出は一般的であり、主に車両や建物の入り口との誤った相互作用に起因した。
• ソフトルールの使用により、一部のサブイベントが観測されなくても、複雑なイベントの部分的検出が可能となり、欠損データに対する頑健性を示した。