[論文レビュー] On model selection criteria for climate change impact studies

Xiaomeng Cui, Bulat Gafarov+2 more|arXiv (Cornell University)|Aug 23, 2018

Agricultural risk and resilience参考文献 49被引用数 9

ひとこと要約

本稿では、将来の気候条件下での被害予測を最適化することを目的として、近接度加重平均二乗誤差（PWMSE）と呼ばれる新たなモデル選択基準を提案する。従来の基準とは異なり、PWMSEは将来の気候予測と類似した歴史的年を高い重みで評価することで、政策意思決定が最も必要とされる分野で予測誤差を最小化するモデルの選択を保証する。

ABSTRACT

Climate change impact studies inform policymakers on the estimated damages of future climate change on economic, health and other outcomes. In most studies, an annual outcome variable is observed, e.g. agricultural yield, along with a higher-frequency regressor, e.g. daily temperature. Applied researchers then face a problem of selecting a model to characterize the nonlinear relationship between the outcome and the high-frequency regressor to make a policy recommendation based on the model-implied damage function. We show that existing model selection criteria are only suitable for the policy objective if one of the models under consideration nests the true model. If all models are seen as imperfect approximations to the true nonlinear relationship, the model that performs well in the normal climate conditions is not guaranteed to perform well at the projected climate that is different from the historical norm. We therefore propose a new criterion, the proximity-weighted mean-squared error (PWMSE), that directly targets precision of the damage function at the projected future climate. To make this criterion feasible, we assign higher weights to prior years that can serve as weather analogs to the projected future climate when evaluating competing models using the PWMSE. We show that our approach selects the best approximate regression model that has the smallest weighted error of predicted impacts for a projected future climate. A simulation study and an application revisiting the impact of climate change on agricultural production illustrate the empirical relevance of our theoretical analysis.

研究の動機と目的

• 標準的なモデル選択基準と、将来の気候被害を推定するという政策的目標との不一致を是正すること。
• すべてのモデルが真の非線形関係の近似にすぎない場合（ネストされていない真のモデルではない場合）、既存の情報基準（例：AIC、BIC）の限界を特定すること。
• 将来の気候条件下での被害関数予測の精度を直接的ターゲットとする基準の開発。
• 将来の気候予測を組み込むための実用的手法として、歴史的気象類似例を用いたモデル評価への統合。
• モデル選択が、過去の条件での性能だけでなく、将来に予想される非歴史的気候シナリオ下での性能を最優先にするように保証すること。

提案手法

• 近接度に基づいて予測誤差を重みづけする近接度加重平均二乗誤差（PWMSE）基準を提案する。この基準では、歴史的気候条件と将来の気候予測との類似度に応じて誤差に重みを付ける。
• 距離尺度（L∞ノルムおよびL²ノルム）を用いて、歴史的気象パターンと将来の気候プロファイルとの間の近接度を定義する。
• 異なるモデル仕様における期待PWMSEを推定するためにモンテカルロ交差検証を適用する。
• 気候条件が将来の気候と類似する歴史的年（気象類似例）を用いて、モデル性能の重み付けの根拠を提供する。
• 非ネスト型モデル（分(piecewise)線形、多項式、要約統計量ベースのモデルなど）間での比較を可能にするフレームワークにPWMSE基準を統合する。
• シミュレーションスタディおよびトウモロコシ収量データを用いた実証的応用を通じて、度数日、季節平均、温度帯分けなどのモデルを比較して実装する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なモデル選択基準は、非歴史的将来気候条件下での気候変動被害の予測に最適なモデルを特定できないのか？
• RQ2 将来の気候条件下での被害関数の正確な予測を重視するように、モデル選択をどのように改善できるか？
• RQ3 将来の気候予測のためのモデル評価において、歴史的データをどのように重みづけるのが最適か？
• RQ4 予測精度という観点から、提案されたPWMSE基準は、従来の情報基準（例：AIC、BIC）と比べてどの程度優れているか？
• RQ5 異なる温度要約統計量（例：度数日、季節平均）は、将来の気候予測下でどの程度の性能を示すか？

主な発見

• すべてのモデルが真の非線形関係の近似にすぎない場合、特に非歴史的将来気候条件下では、AIC や BIC などの従来のモデル選択基準は最適でないことが判明した。
• 提案されたPWMSE基準は、将来の気候条件下での予測誤差が最小限となるモデルの選択において、標準基準を著しく上回った。
• トウモロコシ収量への実証的応用において、24°Cおよび26°Cにノードを持つ区分的線形モデルが、バランスドパネル条件下で最小MSE（0.046478）を達成し、優れた予測性能を示した。
• 度数日や温度帯分けに基づくモデルは、過去では良好な性能を示したが、将来の気候予測下では高い予測誤差を示した。
• 将来の気候に類似する歴史的年（気象類似例）を用いることで、重みなし基準と比較してモデル選択の正確性が最大15%向上した。
• データの信号対雑音比がモデル性能の主要な決定要因であることが判明し、高い比は一般的に信頼性の高いモデル選択結果をもたらした。