[논문 리뷰] Advancing Forest Fire Prevention: Deep Reinforcement Learning for Effective Firebreak Placement

Lucas Murray, Tatiana Castillo외 6명|arXiv (Cornell University)|2024. 04. 12.

Fire effects on ecosystemsEnvironmental Science인용 수 3

한 줄 요약

이 논문은 깊이 강화학습(DRL) 프레임워크를 제안하며, 가치 기반 알고리즘—딥 Q 네트워크(DQN), 더블 DQN, 듀얼링 더블 DQN—과 컨볼루션 신경망(CNN)을 조합하여 산림 경계지역의 화재방지선 배치를 최적화한다. Cell2Fire 시뮬레이터에서 훈련된 에이전트는 화재방지선을 효과적으로 배치하는 데 성공하여 히우리스틱 방법을 능가하고 40×40 격자 경계지역에서 수렴을 달성하며, 화재확산 방지에 대한 DRL의 선구적 응용을 나타낸다.

ABSTRACT

Over the past decades, the increase in both frequency and intensity of large-scale wildfires due to climate change has emerged as a significant natural threat. The pressing need to design resilient landscapes capable of withstanding such disasters has become paramount, requiring the development of advanced decision-support tools. Existing methodologies, including Mixed Integer Programming, Stochastic Optimization, and Network Theory, have proven effective but are hindered by computational demands, limiting their applicability. In response to this challenge, we propose using artificial intelligence techniques, specifically Deep Reinforcement Learning, to address the complex problem of firebreak placement in the landscape. We employ value-function based approaches like Deep Q-Learning, Double Deep Q-Learning, and Dueling Double Deep Q-Learning. Utilizing the Cell2Fire fire spread simulator combined with Convolutional Neural Networks, we have successfully implemented a computational agent capable of learning firebreak locations within a forest environment, achieving good results. Furthermore, we incorporate a pre-training loop, initially teaching our agent to mimic a heuristic-based algorithm and observe that it consistently exceeds the performance of these solutions. Our findings underscore the immense potential of Deep Reinforcement Learning for operational research challenges, especially in fire prevention. Our approach demonstrates convergence with highly favorable results in problem instances as large as 40 x 40 cells, marking a significant milestone in applying Reinforcement Learning to this critical issue. To the best of our knowledge, this study represents a pioneering effort in using Reinforcement Learning to address the aforementioned problem, offering promising perspectives in fire prevention and landscape management

연구 동기 및 목표

• 기후 변화로 악화되는 대규모 산불의 증가하는 위협에 대응하기 위해 사전적이고 인공지능 기반의 화재 예방 전략을 개발하기 위해.
• 기존 운영연구 방법론의 한계—높은 계산 비용과 낮은 적응성—을 극복하기 위해 기계학습을 활용해 동적이고 경험 기반의 의사결정을 가능하게 하기 위해.
• 시뮬레이션 데이터로부터 학습하고 시간이 지남에 따라 향상되는 확장 가능하고 일반화 가능한 화재방지선 배치 프레임워크를 설계하기 위해.
• 복잡하고 공간적으로 명시적인 화재 확산 환경에서 강화학습이 히우리스틱 및 최적화 기반 접근법보다 실현 가능하고 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 연구는 가치함수 기반의 깊이 강화학습 알고리즘인 딥 Q 네트워크(DQN), 더블 딥 Q 네트워크(DDQN), 듀얼링 더블 딥 Q 네트워크(Dueling DDQN)를 사용하여 화재방지선 최적 위치 선택을 위한 에이전트를 훈련시킨다.
• 산림 경계지역을 다중 채널 이미지로 처리하기 위해 컨볼루션 신경망(CNN)을 사용하여 공간적 맥락과 지형 특징을 포착함으로써 상태 표현을 향상시킨다.
• 에이전트는 화재 확산 시뮬레이터인 Cell2Fire를 사용하여 훈련되며, 다양한 기상 및 연료 조건 하에서flame 전파를 모델링하여 현실적인 환경 피드백을 제공한다.
• 수렴 속도를 높이고 최종 성능을 향상시키기 위해 사전 훈련 루프를 구현하여 에이전트가 먼저 히우리스틱 기반 알고리즘을 모방한다.
• 행동 공간은 격자상에 화재방지선을 이산적으로 배치하는 것으로 정의되며, 에이전트는 화재 통제 효과성에 기반한 희박한 보상을 수신한다.
• 훈련 과정은 경험 재생과 타겟 네트워크를 사용하여 학습 안정성을 확보하며, 40×40 경계지역에서의 확장성을 위해 하이퍼파ram터를 조정한다.

Figure 1 : Agent-Environment interaction scheme.

실험 결과

연구 질문

• RQ1 실제 화재 확산 역학을 반영한 대규모 산림 경계지역에서 깊이 강화학습이 최적의 화재방지선 배치 전략을 효과적으로 학습할 수 있는가?
• RQ2 히우리스틱 정책에 기반한 사전 훈련이 랜덤 초기화에 비해 학습 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 다양한 DRL 아키텍처(DQN, DDQN, 듀얼링 DDQN)가 전통적인 최적화 및 히우리스틱 방법에 비해 화재방지선 배치에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 제안된 DRL 프레임워크는 다양한 경계지역 구성과 화재 시나리오에 일반화 가능한가, 아니면 특정 문제 사례에 국한되는가?
• RQ5 CNN 기반 상태 표현이 화재방지선 효과적 배치에 필수적인 공간 패턴을 포착하는 데 에이전트의 능력에 어떤 영향을 미치는가?

주요 결과

• 특히 히우리스틱 정책에 기반한 사전 훈련을 거친 DRL 에이전트는 기준 히우리스틱 방법에 비해 화재 통제 효과성에서 일관되게 뛰어난 성능을 보였다.
• 프레임워크는 40×40 셀에 이르는 문제 사례에서도 성공적으로 수렴하여 실생활 적용에 있어 확장성과 계산 가능성의 가능성을 입증했다.
• CNN을 통한 상태 표현 사용으로 인해 에이전트는 공간적 관계와 지형 특징을 효과적으로 포착할 수 있었으며, 이는 의사결정 정확도 향상에 기여했다.
• 시험된 DRL 알고리즘 중 듀얼링 더블 DQN이 가장 안정적이고 효과적인 학습 성능을 보이며 뛰어난 화재 통제 비율을 달성했다.
• 사전 훈련 단계는 수렴 속도를 크게 향상시키고 최종 정책 품질을 향상시켜, 복잡한 RL 과제에서 애자일러닝이 강력한 초기화 전략이 될 수 있음을 시사했다.
• 저자들의 지식으로는 이 연구가 깊이 강화학습을 화재방지선 배치 문제에 적용한 최초의 사례이며, 화재위험 완화 계획 분야에 새로운 패러다임을 설정했다.

Figure 2 : State transition when the fifth cell from the first row is chosen as a firebreak and therefore added to the forbidden set. The cells in red are in the forbidden set, the ones in green in the available.