[논문 리뷰] Deep Convolutional Generative Adversarial Networks Based Flame Detection in Video

Süleyman Aslan, Uğur Güdükbay외 2명|arXiv (Cornell University)|2019. 02. 05.

Fire Detection and Safety Systems참고 문헌 1인용 수 6

한 줄 요약

이 논문은 시공간 역동성을 시간적 슬라이스 이미지를 통해 활용하여 실시간 영상에서 화재 감지를 위한 이단계 DCGAN 기반 방법을 제안한다. 합성 및 실제 비화재 데이터를 모두 사용하여 판별기가 화재와 비화재 시퀀스를 구분하도록 훈련시킴으로써, 표준 CNN 및 DCGAN과 비교해 거짓 경보를 크게 줄인 92.19%의 정확도와 3.91%의 거짓 경보율을 달성한다.

ABSTRACT

Real-time flame detection is crucial in video based surveillance systems. We propose a vision-based method to detect flames using Deep Convolutional Generative Adversarial Neural Networks (DCGANs). Many existing supervised learning approaches using convolutional neural networks do not take temporal information into account and require substantial amount of labeled data. In order to have a robust representation of sequences with and without flame, we propose a two-stage training of a DCGAN exploiting spatio-temporal flame evolution. Our training framework includes the regular training of a DCGAN with real spatio-temporal images, namely, temporal slice images, and noise vectors, and training the discriminator separately using the temporal flame images without the generator. Experimental results show that the proposed method effectively detects flame in video with negligible false positive rates in real-time.

연구 동기 및 목표

• 최소한의 거짓 경보를 갖는 강력하고 실시간 화재 감지 시스템을 개발하기 위해.
• 영상 시퀀스를 시간적 슬라이스 이미지로 변환하여 화재의 떨림과 같은 시공간 역동성을 활용하기 위해.
• DCGAN의 이단계 훈련 프레임워크를 통해 일반화 능력과 감지 강건성을 향상시키기 위해.
• 적대적 훈련과 시간 모델링을 활용하여 대규모 레이블이 부여된 데이터셋에 대한 의존도를 줄이기 위해.
• 감지 정확도와 거짓 경보율 측면에서 표준 CNN 및 DCGAN 기준 모델을 초월하기 위해.

제안 방법

• 64개의 연속된 영상 프레임을 공간 컬럼으로 묶어 시간적 슬라이스 이미지를 생성함으로써 약 6.5초 동안의 운동과 떨림을 캡처한다.
• 실제 화재 슬라이스와 임의의 노이즈 벡터를 사용하여 DCGAN을 먼저 훈련시켜 판별기가 화재 특유의 시공간 패턴을 학습하도록 한다.
• 두 번째 단계에서 생성기는 고정하고, 판별기는 실제 비화재 영상 시퀀스를 '가짜' 데이터로, 화재 슬라이스를 '진짜' 데이터로 사용하여 미세조정한다.
• 판별기는 두 번의 확률적 경사 하강 업데이트를 통해 훈련된다: 첫 번째는 초기 적대적 훈련(SG1), 두 번째는 개선(SG2)이며, 이때 비화재 데이터를 사용해 분류 능력을 향상시킨다.
• 생성기 및 판별기 네트워크에 배치 정규화, 드롭아웃, MSRA 가중치 초기화를 적용하여 훈련 안정성을 높인다.
• 확률적 최적화를 위해 Adam 옵timizer를 사용하고, 모델은 TensorFlow로 구현된다.

실험 결과

연구 질문

• RQ1 실제 비화재 영상 데이터를 판별기 미세조정 단계에 통합함으로써 이단계 DCGAN 훈련 전략이 화재 감지 강건성을 향상시킬 수 있는가?
• RQ2 시간적 슬라이스 이미지를 사용함으로써 화재의 떨림 역동성을 효과적으로 캡처할 수 있는가?
• RQ3 표준 CNN 및 DCGAN과 비교해 제안된 방법은 거짓 경보율과 감지 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 시간적 슬라이스를 사용한 적대적 훈련이 대규모 레이블이 부여된 화재 데이터의 필요성을 줄일 수 있는가?
• RQ5 시공간 진화를 활용함으로써 화재 감지에서 일반화 능력은 어느 정도 향상되는가?

주요 결과

• 제안된 시간적 슬라이스를 사용한 DCGAN은 테스트 세트에서 진짜 양성률(TPR) 92.19%와 진짜 음성률(TNR) 96.09%를 기록하여 높은 감지 정확도와 낮은 거짓 경보율을 나타낸다.
• 이 방법은 거짓 경보율을 3.91%로 낮춰, 시간적 슬라이스를 사용한 CNN(12.61% 거짓 경보율)과 다른 DCGAN 기준 모델보다 뚜렷이 뛰어난 성능을 보인다.
• 특히 실제 비화재 데이터를 사용한 개선 단계를 포함한 이단계 훈련 접근법은, 개선이 없는 DCGAN 대비 TNR에서 9.48% 향상된 성과를 기록한다.
• 시간적 슬라이스 이미지의 사용은 화재의 떨림 역동성을 활용할 수 있게 해주어, 시간 정보가 없는 DCGAN 대비 TNR가 9.48% 높아졌다.
• 이 방법은 오직 3.91%의 거짓 경보율을 기록하면서도 92.19%의 정확도를 달성하여, 동일한 데이터셋에서 표준 CNN 및 DCGAN보다 뛰어난 강건성을 입증한다.
• 결과는 시간적 슬라이스를 사용한 적대적 훈련이 특징 표현을 향상시켜 실제 영상 감시 환경에서 더 신뢰할 수 있는 화재 감지를 가능하게 한다는 것을 확인한다.