[논문 리뷰] Techniques for effective and efficient fire detection from social media images

Marcos Bedo, Gustavo Blanco외 6명|arXiv (Cornell University)|2015. 06. 11.

Fire Detection and Safety Systems참고 문헌 15인용 수 7

한 줄 요약

이 논문은 컨텐츠 기반 이미지 검색을 사용하여 사회적 미디어 이미지에서 확장성 있고 정확한 화재 감지 시스템인 FFireDt를 제안한다. Flickr-Fire 데이터셋에서 36개의 이미지 기술자 조합을 평가하여, 색상 구조와 도시 블록 또는 유클리드 거리와 함께 사용할 경우 85%의 F-측도를 기록함으로써 인간 평가자 수준과 유사한 성능을 달성하였으며, 이는 실시간 위기 모니터링에 최적임을 입증한다.

ABSTRACT

Social media could provide valuable information to support decision making in crisis management, such as in accidents, explosions and fires. However, much of the data from social media are images, which are uploaded in a rate that makes it impossible for human beings to analyze them. Despite the many works on image analysis, there are no fire detection studies on social media. To fill this gap, we propose the use and evaluation of a broad set of content-based image retrieval and classification techniques for fire detection. Our main contributions are: (i) the development of the Fast-Fire Detection method (FFDnR), which combines feature extractor and evaluation functions to support instance-based learning, (ii) the construction of an annotated set of images with ground-truth depicting fire occurrences -- the FlickrFire dataset, and (iii) the evaluation of 36 efficient image descriptors for fire detection. Using real data from Flickr, our results showed that FFDnR was able to achieve a precision for fire detection comparable to that of human annotators. Therefore, our work shall provide a solid basis for further developments on monitoring images from social media.

연구 동기 및 목표

• 위기 상황에서 사회적 미디어 이미지에서 자동화된 화재 감지의 부족을 해결한다.
• 실시간 이미지 스트림에서의 화재 감지를 위한 확장성 있고 정확한 아키텍처를 개발한다.
• 화재 감지 평가를 위한 기준 데이터로 사용할 수 있는 고품질의 인간 레이블링 데이터셋을 구축한다.
• 화재 감지를 위한 36개의 기술자 조합(특징 추출기 및 평가 함수)을 체계적으로 평가한다.
• 비상 대응 시스템에 구현하기에 가장 효과적이고 효율적인 기술자 쌍을 특정한다.

제안 방법

• 컨텐츠 기반 이미지 검색을 위한 특징 추출기와 평가 함수를 조합한 인스턴스 기반 학습 프레임워크인 FFireDt 아키텍처를 제안한다.
• Flickr에서 수집한 실제 2,000장의 인간 레이블링된 이미지를 기반으로, 화재 또는 비화재로 레이블링된 Flickr-Fire 데이터셋을 구축한다.
• MPEG-7 특징 추출기(예: 색상 구조, 확장 가능한 색상, 에지 히스토그램) 6종과 평가 함수(예: 유클리드, 도시 블록, 제퍼리 발산)의 조합 총 36개를 평가한다.
• 정확도 평가에는 F-측도, 정밀도-재현율 곡선, ROC 곡선을 사용하고, 효율성 평가에는 벽시계 시간을 사용한다.
• 정밀도와 처리 시간 간의 트레이드오프를 기반으로 최적의 기술자 쌍을 선정한다.
• 실세계 이미지 데이터를 대상으로 시스템을 구현하고 벤치마킹하여 위기 모니터링 환경에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 화재 감지에서 가장 높은 정밀도를 달성하는 이미지 기술자 조합(특징 추출기 및 평가 함수)은 무엇인가?
• RQ2 특히 색상 기반과 텍스처 기반 특징 추출기 간의 성능은 화재 감지 과제에서 어떻게 다를까?
• RQ3 다양한 평가 함수에 대해 감지 정확도와 계산 효율성 간의 트레이드오프는 어떠한가?
• RQ4 자동화된 시스템이 실세계의 사회적 미디어 이미지에서 인간 평가자 수준의 화재 감지 정밀도를 달성할 수 있는가?
• RQ5 실시간 배포에 적합한 가장 우수한 유효성(F-측도)과 효율성(벽시계 시간)의 균형을 이룬 기술자 쌍은 무엇인가?

주요 결과

• 색상 구조와 도시 블록 거리 조합이 F-측도 0.866을 기록하여 평가된 모든 조합 중에서 가장 높은 성능을 보였다.
• 확장 가능한 색상과 유클리드 거리 조합이 F-측도 0.821을 기록하였으며, 가장 빠른 처리 성능를 보였다.
• 색상 기반 추출기(색상 구조, 확장 가능한 색상)가 텍스처 기반 추출기(에지 히스토그램, 텍스처 브라우징)보다 뛰어난 성능을 보였으며, 후자는 낮은 정밀도를 보였다.
• 제퍼리 발산은 가장 높은 정밀도를 제공했지만 가장 느린 처리 속도를 보여 실시간 응용에 부적합했다.
• 도시 블록 거리와 유클리드 거리는 높은 정밀도(0.84 이상)와 낮은 계산 비용을 동시에 확보하여 가장 균형 잡힌 성능을 보였다.
• FFireDt 시스템은 F-측도 85%를 달성하여 Flickr-Fire 데이터셋에서 인간 평가자 수준의 정밀도를 입증하였다.