[논문 리뷰] FireNet: Real-time Segmentation of Fire Perimeter from Aerial Video

Jigar Doshi, Dominic Garcia외 6명|arXiv (Cornell University)|2019. 10. 14.

Fire Detection and Safety Systems참고 문헌 13인용 수 8

한 줄 요약

FireNet은 순환적 문맥 통합을 통한 잘라낸 U-Net 아키텍처를 사용하여 항공기에서 촬영한 전방형 적외선 영상에서 화재 경계를 실시간으로 세분화하기 위한 딥러닝 모델을 제안한다. 이 시스템은 생산 환경에서 20 fps 추론 속도와 92 F1 스코어를 달성하여 재난 대응을 위한 wildfulre 경계 매핑 속도를 크게 향상시킨다.

ABSTRACT

In this paper, we share our approach to real-time segmentation of fire perimeter from aerial full-motion infrared video. We start by describing the problem from a humanitarian aid and disaster response perspective. Specifically, we explain the importance of the problem, how it is currently resolved, and how our machine learning approach improves it. To test our models we annotate a large-scale dataset of 400,000 frames with guidance from domain experts. Finally, we share our approach currently deployed in production with inference speed of 20 frames per second and an accuracy of 92 (F1 Score).

연구 동기 및 목표

• 화재 발생 시 상황 인식 및 대응 조율을 향상시키기 위해 화재 경계 매핑을 더 빠르고 정확하게 수행할 수 있는 필수적인 필요성을 해결한다.
• 현재 분석가들이 적외선 영상 피드에서 화재 경계를 수작업으로 그려내는 데 몇 시간이 걸리는 수작업 및 시간 소모 문제를 줄인다.
• 시간적 문맥을 통합하여 세분화의 일관성과 정확도를 향상시키는 실시간으로 확장 가능한 기계학습 솔루션을 개발한다.
• 자원이 제한된 플랫폼에서도 활성 화재 사건 기간 동안 구현 가능한 고속 추론과 높은 성능 간의 균형을 맞춘다.
• 인간-기계 협업을 지원하는 생산 준비 완료 시스템을 구축하여 분석가들이 고도의 의사결정 작업에 집중할 수 있도록 한다.

제안 방법

• 스킵 연결을 갖춘 U-Net 기반 인코더-디코더 아키텍처를 사용하여 화재 경계 검출 작업을 인스턴스 세분화 문제로 재정의한다.
• 이전 프레임의 예측 결과를 추가 입력 채널로 통합하여 시간적 일관성과 모델의 강건성을 향상시킨다.
• 추론 지연을 줄이면서도 만족스러운 정확도를 유지하기 위해 모델 프루닝을 적용하여 단일 GPU에서 22 fps를 달성한다.
• 화재 픽셀과 비화재 픽셀 간의 클래스 불균형을 다루기 위해 부드러운 인자 ε = 1.0을 가진 연속적인 Dice 손실 함수(DSC)를 사용한다.
• 일반화 및 시간적 안정성 향상을 위해 무작위 스케일링, 회전, 뒤집기, 노이즈 주입 등의 데이터 증강 기법을 적용한다.
• β1 = 0.9, β2 = 0.999, 초기 학습률 LR = 2e-4로 설정된 ADAM 옵timizer를 사용하여 모델을 훈련하고, 10 에포크 동안 성능 향상 없이 유지되면 학습률 감소를 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 적외선 영상에서 화재 경계 세분화 작업을 실시간으로 수행(≥20 fps)하면서도 높은 정확도를 유지를 할 수 있는가?
• RQ2 이전 프레임의 예측 결과를 입력 특징으로 통합할 경우 모델의 시간적 일관성과 세분화 정확도에 어떤 영향을 미치는가?
• RQ3 실시간 화재 세분화 작업에서 모델 복잡도, 프루닝, 성능 간의 상호 상충 관계는 어떠한가?
• RQ4 데이터 증강 및 손실 함수 설계(예: Dice vs. 교차 엔트로피)가 모델의 일반화 및 강건성 향상에 얼마나 기여하는가?
• RQ5 생산 준비 완료된 시스템은 수작업 방법 대비 인간 분석가의 노동 부담을 줄일 수 있을까? 동시에 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 이전 프레임 예측 결과를 통합한 프루닝된 U-Net 모델은 단일 GPU에서 20 프레임/초 추론 속도를 달성하여 실시간 배포 요구 조건을 충족한다.
• 생산 모델은 실시간 제약 조건에도 불구하고 높은 정확도를 보여주며 F1 스코어 92를 기록한다.
• 이전 프레임 예측 결과를 입력에 추가함으로써 기준 U-Net의 5 fps에서 최종 모델로의 추론 속도가 20 fps로 향상되었고, 비프루닝 버전에서 F1 스코어는 94에서 95로 상승했다.
• 이전 예측 결과 없이 프루닝을 적용한 경우 F1 스코어는 86으로 떨어지며, 압축 후 성능 유지에 시간적 문맥이 필수적임을 시사한다.
• 연속적인 미분 가능성을 가진 Dice 손실 함수는 이산형 교차 엔트로피 손실 함수보다 모든 설정에서 뛰어난 성능을 보이며, 특히 클래스 불균형 문제 해결에 유리하다.
• 데이터 증강은 시간적 일관성을 향상시키지만 과도한 변형은 일반화 능력을 저하시켜 균형 잡힌 증강 전략의 필요성을 시사한다.