[논문 리뷰] On model selection criteria for climate change impact studies

Xiaomeng Cui, Bulat Gafarov외 2명|arXiv (Cornell University)|2018. 08. 23.

Agricultural risk and resilience참고 문헌 49인용 수 9

한 줄 요약

이 논문은 기후 변화 영향 연구를 향상시키기 위해 손해를 향후 기후 조건에서 가장 잘 예측하는 모델을 우선시하는 새로운 모델 선택 기준인 유사도 가중 평균 제곱오차(PWMSE)를 제안한다. 기존 기준과 달리 PWMSE는 향후 기후 예측과 유사한 역사를 가진 연도에 더 높은 가중치를 할당하여, 정책 결정이 가장 필요한 곳에서 예측 오차를 최소화한다.

ABSTRACT

Climate change impact studies inform policymakers on the estimated damages of future climate change on economic, health and other outcomes. In most studies, an annual outcome variable is observed, e.g. agricultural yield, along with a higher-frequency regressor, e.g. daily temperature. Applied researchers then face a problem of selecting a model to characterize the nonlinear relationship between the outcome and the high-frequency regressor to make a policy recommendation based on the model-implied damage function. We show that existing model selection criteria are only suitable for the policy objective if one of the models under consideration nests the true model. If all models are seen as imperfect approximations to the true nonlinear relationship, the model that performs well in the normal climate conditions is not guaranteed to perform well at the projected climate that is different from the historical norm. We therefore propose a new criterion, the proximity-weighted mean-squared error (PWMSE), that directly targets precision of the damage function at the projected future climate. To make this criterion feasible, we assign higher weights to prior years that can serve as weather analogs to the projected future climate when evaluating competing models using the PWMSE. We show that our approach selects the best approximate regression model that has the smallest weighted error of predicted impacts for a projected future climate. A simulation study and an application revisiting the impact of climate change on agricultural production illustrate the empirical relevance of our theoretical analysis.

연구 동기 및 목표

• 표준 모델 선택 기준과 기후 변화 손해 추정이라는 정책 목표 사이의 괴리 문제를 해결한다.
• 모델들이 진정한 내재된 모델이 아니라 모두 근사 모델인 경우 기존 정보 기준(AIC, BIC 등)의 한계를 규명한다.
• 미래 기후 조건에서 손해 함수 예측의 정밀도를 직접적으로 목표로 하는 기준을 개발한다.
• 역사적 기상 자료의 유사성 기반으로 향후 기후 예측을 모델 평가에 통합할 수 있는 실용적 방법을 제공한다.
• 모델 선택이 과거 기후 조건에서의 성능뿐 아니라, 향후 비역사적 기후 시나리오에서 가장 잘 작동하는 모델을 선호하도록 보장한다.

제안 방법

• 역사적 기후 조건과 향후 기후 예측 간의 유사도에 따라 예측 오차에 가중치를 부여하는 유사도 가중 평균 제곱오차(PWMSE) 기준을 제안한다.
• 역사적 기상 패턴과 향후 기후 프로파일 간의 거리 측도(L∞ 및 L² 노름)를 사용해 유사도를 정의한다.
• 다양한 모델 사양에서의 기대 PWMSE를 추정하기 위해 몬테카를로 교차검증을 적용한다.
• 기후 조건이 향후 기후 예측과 유사한 역사를 기반으로 모델 성능에 가중치를 적용하는 기상 유사체(Weather Analogs)를 사용한다.
• 비중첩 모델 간 비교가 가능한 프레임워크에 PWMSE 기준을 통합하며, 이는 조각별 선형, 다항식, 요약 통계 기반 모델을 포함한다.
• 시뮬레이션 연구와 옥수수 수확량 데이터에 대한 실증 적용을 통해 방법을 구현하며, 정도일수, 계절 평균, 온도 구간 기반 모델 등을 비교한다.

실험 결과

연구 질문

• RQ1 왜 표준 모델 선택 기준이 미래 기후 조건에서 기후 변화 손해를 예측하기 위한 최적의 모델을 식별하지 못하는가?
• RQ2 모델 선택을 어떻게 개선하여 향후 비역사적 기후 수준에서 손해 함수를 정확히 예측하는 모델을 우선시할 수 있는가?
• RQ3 미래 기후 예측을 위한 모델 평가 시 역사적 자료를 어떻게 가중해야 하는가?
• RQ4 예측 정확도 측면에서 제안된 PWMSE 기준은 전통적 정보 기준에 비해 어떻게 성능을 발휘하는가?
• RQ5 다양한 기온 요약 통계(예: 정도일수, 계절 평균 등)가 향후 기후 예측 조건에서 어떻게 성능을 발휘하는가?

주요 결과

• 모든 모델이 진정한 비선형 관계의 근사치일 경우, 특히 비역사적 미래 기후 조건에서 AIC, BIC와 같은 전통적 모델 선택 기준은 최적의 성능을 내지 못한다.
• 제안된 PWMSE 기준은 향후 기후 수준에서 예측 오차가 가장 작은 모델을 선별하는 데 있어 표준 기준보다 뚜렷이 뛰어나다.
• 옥수수 수확량에 대한 실증 적용에서, 24°C와 26°C에서의 꼬임을 가진 조각별 선형 모델이 균형 패널 조건에서 최저 MSE(0.046478)를 기록하여 뛰어난 예측 성능을 보였다.
• 역사적으로 양호하게 작동했던 정도일수 및 온도 구간 기반 모델들은 향후 기후 예측 조건에서는 여전히 높은 예측 오차를 보였다.
• 기후 프로파일이 향후 기후 예측과 유사한 역사를 기반으로 한 기상 유사체를 사용함으로써, 무가중 기준에 비해 모델 선택 정확도가 최대 15% 향상되었다.
• 데이터의 신호 대 잡음 비율은 모델 성능의 핵심 결정 요소로 밝혀졌으며, 높은 비율일수록 일반적으로 더 신뢰할 수 있는 모델 선택 결과를 도출했다.