[논문 리뷰] Explainable AI Integrated Feature Engineering for Wildfire Prediction

Di Fan, Ayan Biswas외 1명|arXiv (Cornell University)|2024. 04. 01.

Fire effects on ecosystemsEnvironmental Science인용 수 3

한 줄 요약

이 연구는 수치 데이터와 영상 데이터를 통합하여 분류 및 회귀 작업을 동시에 수행하는 설명 가능한 AI(Explainable AI, XAI) 통합 기계학습 프레임워크를 제안한다. XGBoost를 분류에, Random Forest를 회귀에 사용하고, 하이브리드 CNN을 활용해 분류 및 회귀를 동시에 수행한다. 주요 결과로는 XGBoost가 화재 유형 분류에서 높은 정확도를 달성했으며, Random Forest 회귀 모델은 연소 면적 예측 오차를 최소화했고, TreeSHAP 및 Grad-CAM과 같은 XAI 기법을 통해 토양 수분과 ignitions 조건이 가장 영향력 있는 예측 변수임을 밝혀냈다.

ABSTRACT

Wildfires present intricate challenges for prediction, necessitating the use of sophisticated machine learning techniques for effective modeling\cite{jain2020review}. In our research, we conducted a thorough assessment of various machine learning algorithms for both classification and regression tasks relevant to predicting wildfires. We found that for classifying different types or stages of wildfires, the XGBoost model outperformed others in terms of accuracy and robustness. Meanwhile, the Random Forest regression model showed superior results in predicting the extent of wildfire-affected areas, excelling in both prediction error and explained variance. Additionally, we developed a hybrid neural network model that integrates numerical data and image information for simultaneous classification and regression. To gain deeper insights into the decision-making processes of these models and identify key contributing features, we utilized eXplainable Artificial Intelligence (XAI) techniques, including TreeSHAP, LIME, Partial Dependence Plots (PDP), and Gradient-weighted Class Activation Mapping (Grad-CAM). These interpretability tools shed light on the significance and interplay of various features, highlighting the complex factors influencing wildfire predictions. Our study not only demonstrates the effectiveness of specific machine learning models in wildfire-related tasks but also underscores the critical role of model transparency and interpretability in environmental science applications.

연구 동기 및 목표

• 분류 및 회귀 작업에 특화된 기계학습 모델을 통합하여 화재 예측 정확도를 향상시키는 것.
• 환경 분야 응용에서 설명 가능한 AI(XAI) 기법을 활용해 모델의 해석 가능성 향상.
• 특성 중요도 분 析를 통해 화재 결과에 가장 큰 영향을 미치는 환경 및 기상 특성 규명.
• 수치 데이터와 위성 영상 데이터를 동시에 처리할 수 있는 하이브리드 딥러닝 모델 개발.
• 공개 저장소에서 확보한 실제 화재 데이터셋을 활용해 모델 성능 검증.

제안 방법

• 화재 유형 분류에 XGBoost를 활용하고 정확도 및 강건성 지표를 사용해 성능 평가.
• 연소 면적 예측을 위해 Random Forest 회귀 모델을 사용하고 예측 오차 및 설명된 분산 최적화.
• 기상 데이터와 위성 영상 데이터를 동시에 처리할 수 있는 하이브리드 CNN 모델 개발 및 분류 및 회귀 작업에 적용.
• TreeSHAP를 적용해 회귀 예측에서 특성 중요도 및 모델 출력 기여도 정량화.
• LIME를 사용해 화재 내외 영역의 개별 예측 주변에서의 로컬 모델 행동 및 선형성 평가.
• 부분 의존도 플롯(Partial Dependence Plots, PDP)을 활용해 특성의 예측된 화재 확장에 대한 경계 효과 시각화.

실험 결과

연구 질문

• RQ1 화재 유형 또는 단계를 분류하는 데 가장 우수한 성능을 보이는 기계학습 모델은 무엇인가?
• RQ2 회귀 모델은 화재 사건에서 연소 면적을 얼마나 정확하게 예측할 수 있는가?
• RQ3 환경 및 기상 특성 중 화재 예측 결과에 가장 크게 기여하는 요소는 무엇인가?
• RQ4 TreeSHAP, LIME, PDP와 같은 XAI 기법은 화재 예측 모델의 의사결정 논리 구조를 어떻게 드러내는가?
• RQ5 하나의 CNN 모델이 영상 및 수치 입력을 동시에 활용해 화재 데이터에 대해 분류 및 회귀 작업을 효과적으로 수행할 수 있는가?

주요 결과

• XGBoost는 분류 작업에서 다른 모델보다 뛰어난 정확도와 강건성을 보이며 화재 유형 또는 단계 분류에서 최고의 성능을 보였다.
• Random Forest 회귀 모델은 예측 오차가 가장 낮고 설명된 분산 비율이 가장 높아 연소 면적 예측에서 뛰어난 성능을 보였다.
• 화재 내부 영역 예측에서는 TreeSHAP 분 析를 통해 토양 수분(smois)과 Ignition 조건이 가장 강력한 정의적 영향을 미쳤다.
• 화재 외부 영역 예측에서는 토양 수분(smois)과 풍속이 가장 영향력 있는 특성으로 나타났으며, 풍속 값이 10 이상일 경우 상당한 영향을 미쳤다.
• 하이브리드 CNN 모델은 분류 정확도 93.10%를 달성했고, 내부 영역 예측 오차는 0.75%, 외부 영역 예측 오차는 2.41%를 기록했다.
• Grad-CAM 시각화 결과, 모델이 분류 결정을 내리기 위해 연소 흔적과 연료 패턴 등 영상의 핵심 영역에 주로 집중하고 있음을 확인했다.