[論文レビュー] EIQIS: Toward an Event-Oriented Indexable and Queryable Intelligent Surveillance System

Seyed Yahya Nikouei, Yu Chen+2 more|arXiv (Cornell University)|Jul 30, 2018

Video Surveillance and Tracking Methods参考文献 24被引用数 8

ひとこと要約

本稿では、エッジ・ミスト・クラウドアーキテクチャを活用して、リアルタイムで動画特徴を抽出・インデックス化し、即時のイベント検索を可能にする、イベント指向型でインデックス可能かつクエリ可能ないかが知能監視システムEIQISを提案する。軽量な機械学習モデルを用いて現地で動画フレームを処理し、ミスト層に構造化されたインデックスを保存することで、EIQISは低遅延でスケーラブルな監視データのクエリを実現する。動作するプロトタイプにより、リアルタイムの特徴抽出、セキュアなブロックチェーン保護付きのデータ転送、および群衆密度や物体数などのイベント基準による効率的な検索が可能であることが実証された。

ABSTRACT

Edge computing provides the ability to link distributor users for multimedia content, while retaining the power of significant data storage and access at a centralized computer. Two requirements of significance include: what information show be processed at the edge and how the content should be stored. Answers to these questions require a combination of query-based search, access, and response as well as indexed-based processing, storage, and distribution. A measure of intelligence is not what is known, but is recalled, hence, future edge intelligence must provide recalled information for dynamic response. In this paper, a novel event-oriented indexable and queryable intelligent surveillance (EIQIS) system is introduced leveraging the on-site edge devices to collect the information sensed in format of frames and extracts useful features to enhance situation awareness. The design principles are discussed and a preliminary proof-of-concept prototype is built that validated the feasibility of the proposed idea.

研究の動機と目的

• 生動画ストリーミングとバッチ処理に依存する従来の監視システムが抱えるスケーラビリティと遅延の課題に対処すること。
• ネットワークエッジで直接インデックス可能な特徴を生成することで、監視動画に対するリアルタイムでインタラクティブなクエリを可能にすること。
• イベント指向のインデックス化により、人的介入を組み込んだ動的かつ迅速な緊急事態への対応を可能にし、状況認識を向上させること。
• セキュアで低遅延のデータ処理を実現する階層的エッジ・ミスト・クラウドアーキテクチャの知能監視への適用可能性を検証すること。
• 現地での特徴抽出とインデックス化が、フォレンジック分析およびリアルタイム分析におけるネットワーク負荷の低減と応答時間の改善に顕著に寄与することを実証すること。

提案手法

• 本システムは、三層構造のエッジ・ミスト・クラウドアーキテクチャを採用している：エッジデバイスがリアルタイムで動画フレームから低レベルの視覚的特徴（例：物体検出、バウンディングボックス）を抽出する。
• 特徴は暗号化されたチャネルを介してミストノードに送信され、そこでは抽出された特徴の中央集権的でインデックス可能なキー・バリュー形式のストアが維持される。
• プライベートなイーサリアムベースのブロックチェーンが、エッジからミストへのデータ転送中に改ざんを防ぎ、データの整合性を保証する。
• 各特徴抽出タスクはマイクロサービスとして抽象化されており、多様なクエリタイプに対応するモジュラーかつ拡張可能なインデックス化を可能にする。
• ミスト層は、事前に定義されたイベントパラメータ（例：「夜間、1フレームに10人以上がいる」）を用いたリアルタイムクエリをサポートする。
• プロトタイプではTinkerBoardエッジデバイスとラップトップベースのミストノードを用い、セキュアなノード間通信にはPythonベースのソケットプログラミングが採用された。

実験結果

リサーチクエスチョン

• RQ1 エッジでのリアルタイムで現地での特徴抽出が、知能監視のためのスケーラブルかつ低遅延な動画インデックス化を可能にするか？
• RQ2 階層的エッジ・ミスト・クラウドアーキテクチャは、監視動画ストリームに対する即時でイベントベースのクエリ処理をどのように支援するか？
• RQ3 セキュアでブロックチェーン保護付きのデータ転送は、監視データパイプラインにおける整合性をどの程度確保できるか？
• RQ4 マイクロサービスベースの特徴抽出は、動画インデックス化システムの拡張性と適応性をどのように向上させるか？
• RQ5 フォレンジック分析および運用上の動画分析において、バッチ処理をリアルタイムインデックス化に置き換えることはどの程度現実的か？

主な発見

• プロトタイプは、TinkerBoard上でリアルタイムの特徴抽出（物体検出およびバウンディングボックストラッキング）を成功裏に実装した。
• ミストノードは、キー・バリュー形式で特徴を格納・インデックス化し、特定の基準に一致する動画イベントを迅速にクエリベースで取得可能にした。
• プライベートなイーサリアムブロックチェーンネットワークにより、4つのマイナー間でブロックを同期し、すべてのノードが最新の状態を保持することで、データの整合性が確保された。
• 生動画ストリーミングへの依存を減らし、インテリジェントなインデックス化によってネットワーク混雑状態とストレージのオーバヘッドを低減した。
• 群衆密度が高く、特定の時間に発生したイベントのクエリは、事前にインデックス化された特徴を用いて効率的に実行され、フル動画のレビューに比べて顕著に優れた性能を示した。
• 特徴抽出のためのマイクロサービス統合により、コアシステムの再設計なしにインデックス機能のモジュラー拡張が可能になった。