[論文レビュー] Techniques for effective and efficient fire detection from social media images

Marcos Bedo, Gustavo Blanco+6 more|arXiv (Cornell University)|Jun 11, 2015

Fire Detection and Safety Systems参考文献 15被引用数 7

ひとこと要約

本稿では、コンテンツベース画像検索を用いてスケーラブルで高精度なソーシャルメディア画像における火災検出システム、FFireDtを提案する。Flickr-Fireデータセット上で36通りの画像記述子の組み合わせを評価した結果、Color StructureとCity-Block距離、またはScalable ColorとEuclidean距離の組み合わせが85%のF-measureを達成し、人間のアノテーターと同等の性能を示し、リアルタイムの危機モニタリングに最適であることが判明した。

ABSTRACT

Social media could provide valuable information to support decision making in crisis management, such as in accidents, explosions and fires. However, much of the data from social media are images, which are uploaded in a rate that makes it impossible for human beings to analyze them. Despite the many works on image analysis, there are no fire detection studies on social media. To fill this gap, we propose the use and evaluation of a broad set of content-based image retrieval and classification techniques for fire detection. Our main contributions are: (i) the development of the Fast-Fire Detection method (FFDnR), which combines feature extractor and evaluation functions to support instance-based learning, (ii) the construction of an annotated set of images with ground-truth depicting fire occurrences -- the FlickrFire dataset, and (iii) the evaluation of 36 efficient image descriptors for fire detection. Using real data from Flickr, our results showed that FFDnR was able to achieve a precision for fire detection comparable to that of human annotators. Therefore, our work shall provide a solid basis for further developments on monitoring images from social media.

研究の動機と目的

• 危機時におけるソーシャルメディア画像における自動火災検出の不足を解消すること。
• リアルタイムの画像ストリームにおける火災検出に適したスケーラブルで高精度なアーキテクチャの開発。
• 火災検出評価のための高品質で人間がアノテートしたデータセットの構築。
• 画像記述子（特徴抽出器と評価関数）の36通りの組み合わせを体系的に評価すること。
• 緊急対応システムへの導入に適した、最も効果的で効率的な記述子ペアの同定。

提案手法

• コンテンツベース画像検索を目的とした、特徴抽出器と評価関数を統合したインスタンスベース学習フレームワーク、FFireDtアーキテクチャを提案する。
• Flickrから取得した2,000枚の実際の画像を人間がアノテートした、Flickr-Fireデータセットを構築し、火災または非火災としてラベル付けした。
• MPEG-7特徴抽出器（例：Color Structure、Scalable Color、Edge Histogram）と6種類の評価関数（例：Euclidean、City-Block、Jeffrey Divergence）の36通りの組み合わせを評価した。
• 正確性の評価にはF-measure、精度-再現率、ROC曲線を用い、効率性の評価にはウォールクロック時間を用いた。
• 精度と処理時間のトレードオフに基づき、最適な記述子ペアを選定した。
• 実世界の画像データを用いてシステムを実装・ベンチマークし、危機モニタリングの文脈での性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 どの画像記述子の組み合わせ（特徴抽出器と評価関数）が、ソーシャルメディア画像における火災検出で最高の精度を達成するか？
• RQ2 特に色ベースの抽出器とテクスチャベースの抽出器とでは、火災検出タスクにおいてどのように性能が異なるか？
• RQ3 さまざまな評価関数において、検出精度と計算効率のトレードオフはどのように変化するか？
• RQ4 自動化されたシステムは、実世界のソーシャルメディア画像において、人間のアノテーターと同等の火災検出精度を達成できるか？
• RQ5 どの記述子ペアが、実時間での導入に適した、有効性（F-measure）と効率性（ウォールクロック時間）の最良のバランスを提供するか？

主な発見

• Color StructureとCity-Block距離の組み合わせが、F-measure 0.866を達成し、評価されたすべてのペアの中で最高の性能を示した。
• Scalable ColorとEuclidean距離の組み合わせが、F-measure 0.821を達成し、最も高速な性能を示した。
• 色ベースの抽出器（Color Structure、Scalable Color）が、テクスチャベースの抽出器（Edge Histogram、Texture Browsing）を上回り、後者は低精度であった。
• Jeffrey Divergenceは最高の精度を示したが、最も遅く、リアルタイムアプリケーションには不適切であった。
• City-Block距離とEuclidean距離は、高い精度（0.84以上）と低い計算コストの両方を満たし、最良のバランスを提供した。
• FFireDtシステムは85%のF-measureを達成し、Flickr-Fireデータセット上で人間のアノテーターと同等の精度を示した。