[논문 리뷰] Towards Accurate Predictions and Causal 'What-if' Analyses for Planning and Policy-making: A Case Study in Emergency Medical Services Demand

Kasun Bandara, Christoph Bergmeir외 3명|arXiv (Cornell University)|2020. 04. 25.

Forecasting Techniques and Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 다수의 지역정부구역(LGA) 간의 시계열 정보를 통합하여 응급의료서비스(EMS) 수요 예측 정확도를 향상시키는 글로벌 LSTM 기반 예측 프레임워크인 DeepPPMNet을 제안한다. 계절성 분해와 그란저 인과관계를 통합함으로써 정확한 인과적 '가상의 상황 분석'을 가능하게 하였으며, 이를 통해 일부 LGA에서 알코올 판매 허가 수가 10% 증가할 경우 예측된 EMS 수요가 최대 15% 상승할 수 있음을 입증하였다. 이는 최신의 단변량 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Emergency Medical Services (EMS) demand load has become a considerable burden for many government authorities, and EMS demand is often an early indicator for stress in communities, a warning sign of emerging problems. In this paper, we introduce Deep Planning and Policy Making Net (DeepPPMNet), a Long Short-Term Memory network based, global forecasting and inference framework to forecast the EMS demand, analyse causal relationships, and perform `what-if' analyses for policy-making across multiple local government areas. Unless traditional univariate forecasting techniques, the proposed method follows the global forecasting methodology, where a model is trained across all the available EMS demand time series to exploit the potential cross-series information available. DeepPPMNet also uses seasonal decomposition techniques, incorporated in two different training paradigms into the framework, to suit various characteristics of the EMS related time series data. We then explore causal relationships using the notion of Granger Causality, where the global forecasting framework enables us to perform `what-if' analyses that could be used for the national policy-making process. We empirically evaluate our method, using a set of EMS datasets related to alcohol, drug use and self-harm in Australia. The proposed framework is able to outperform many state-of-the-art techniques and achieve competitive results in terms of forecasting accuracy. We finally illustrate its use for policy-making in an example regarding alcohol outlet licenses.

연구 동기 및 목표

• 다수의 지역정부구역(LGA) 간 EMS 수요 시계열 간 상관관계 패턴을 忽시하는 단변량 예측 모델의 한계를 해결하기 위해.
• 다중 시계열 EMS 수요 데이터에서 공통된 시간 패턴과 구조적 관계를 포착할 수 있는 통합된 글로벌 예측 프레임워크를 개발하기 위해.
• 외부 요인(예: 알코올 판매 허가 수)이 EMS 수요에 영향을 미치는지 확인하기 위해 그란저 인과관계를 활용한 인과 추론을 가능하게 하기 위해.
• 알코올 라이센스 규제 변경 등의 영향을 분석할 수 있는 실용적인 '가상의 상황 분석'을 통해 근거 기반 정책 수립을 지원하기 위해.
• 최신의 단변량 방법보다 예측 정확도와 정책 관련 통찰 생성 능력에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• DeepPPMNet는 모든 가용한 EMS 수요 시계열에 대해 단일의 장기·단기 기억(LSTM) 네트워크를 훈련시키는 글로벌 예측 방법론(GFM)을 적용하여 LGA 간 공유 패턴을 활용한다.
• EMS 데이터의 다양한 계절성 및 추세 특성을 처리하기 위해 계절성 통합(SE) 및 분해된 계절성(DS)의 두 가지 시계열 분해 훈련 철학을 통합한다.
• 외부 요인(예: 알코올 판매 허가 수)이 포함된 외생 변수로서의 성능 향상을 평가하기 위해 그란저 인과관계를 적용한다.
• 알코올 관련(АО) EMS 수요에 대한 인과적 영향을 평가하기 위해 알코올 판매 허가 수(ALI)와 같은 외부 요인을 외생 입력으로 통합한다.
• 외부 요인(예: ALI의 ±5% 및 ±10% 변화)의 변화를 시뮬레이션하여 예측된 EMS 수요 변화를 측정함으로써 '가상의 상황 분석'을 지원한다.
• 모델 성능 평가에는 대칭 평균 절대 퍼센트 오차(sMAPE)와 평균 절대 척도 오차(MASE)를 사용하며, 유의성 검정은 호크베르그 방법을 적용한다.

실험 결과

연구 질문

• RQ1 글로벌 LSTM 기반 프레임워크가 다수의 LGA에서 단변량 예측 모델보다 EMS 수요 예측 성능을 뛰어나게 할 수 있는가?
• RQ2 알코올 판매 허가 수(ALI)와 같은 외부 요인이 알코올 관련 EMS 수요에 그란저 인과관계를 가지는가?
• RQ3 ALI의 변화가 다양한 LGA에서 예측된 EMS 수요에 어떤 영향을 미치며, 이를 정책 결정에 활용할 수 있는가?
• RQ4 계절성 분해 기법의 통합이 이질적인 EMS 수요 시계열에서의 예측 정확도 향상에 기여하는가?
• RQ5 정책적 의미 있는 '가상의 상황 분석'을 위해 외부 요인인 ALI를 글로벌 예측 모델에 통합할 경우 예측 가치가 있는가?

주요 결과

• DeepPPMNet-SE-License는 평균 sMAPE(0.1411)와 중앙값 sMAPE(0.1334)를 기록하여 Prophet 및 ARIMAX를 포함한 모든 다른 모델보다 뛰어난 성능을 보였다.
• DeepPPMNet-DS-License는 그란저 인과관계 검정에서 가장 높은 유의성(p-value = 1.729 × 10⁻⁴)을 기록하여 ALI가 AO 관련 EMS 수요에 영향을 미친다는 강력한 증거를 제시했다.
• LGA-1에서 알코올 판매 허가 수가 10% 증가하면 예측된 EMS 수요가 15% 상승하였고, 10% 감소시켰을 경우 유사한 수준으로 감소함을 통해 정책 수단에 대한 민감도를 입증하였다.
• LGA-2에서는 ALI 증가가 예측된 수요에 미치는 영향이 미미하여 알코올 라이센스 정책이 EMS 이용에 미치는 영향이 지역 간 이질성이 있음을 시사했다.
• 프레임워크는 ALI가 AO 관련 EMS 수요에 유의미한 인과적 요인임을 성공적으로 식별하였으며, 호크베르그 방법을 통한 유의성 검정 결과 ARIMA, ETS 및 DeepPPMNet-DS에서 유의미한 p < 0.05 결과를 확보하였다.
• 시계열 간 상호 정보를 활용하는 글로벌 모델링이 단변량 접근보다 예측 정확도를 크게 향상시켰으며, 모든 평가 지표에서 sMAPE 및 MASE 값이 일관되게 낮게 유지됨을 통해 이를 입증하였다.