[論文レビュー] Assessing the performance of spatial cross-validation approaches for models of spatially structured data

M. J. Mahoney, Lucas K. Johnson+4 more|arXiv (Cornell University)|Mar 13, 2023

demographic modeling and climate adaptation被引用数 10

ひとこと要約

本論文は風景シミュレーションを用いて空間的に構造化されたデータに対する空間的交差検証法を比較し、空間アウトブロックとバッファを用いた空間CVがより正確な性能推定をもたらすことを確認し、tidymodelsフレームワーク内で spatialsample R パッケージを導入している。

ABSTRACT

Evaluating models fit to data with internal spatial structure requires specific cross-validation (CV) approaches, because randomly selecting assessment data may produce assessment sets that are not truly independent of data used to train the model. Many spatial CV methodologies have been proposed to address this by forcing models to extrapolate spatially when predicting the assessment set. However, to date there exists little guidance on which methods yield the most accurate estimates of model performance. We conducted simulations to compare model performance estimates produced by five common CV methods fit to spatially structured data. We found spatial CV approaches generally improved upon resubstitution and V-fold CV estimates, particularly when approaches which combined assessment sets of spatially conjunct observations with spatial exclusion buffers. To facilitate use of these techniques, we introduce the `spatialsample` package which provides tooling for performing spatial CV as part of the broader tidymodels modeling framework.

研究の動機と目的

• トレーニングデータの空間的自己相関によって過度に楽観的な性能評価を避けるため、空間交差検証の必要性を動機づける。
• シミュレーションされた景観とランダムフォレストを用いて、主要な空間CVアプローチを体系的に比較する。
• 正確なモデル性能推定をもたらすパラメータ設定を特定し、実践的な指針を提供する。
• tidymodels エコシステム内で空間CVを実装するアクセスしやすいソフトウェアツールを提供する。

提案手法

• 50x50グリッド上で13個の予測変数と派生ターゲット変数 y を用いて100個の独立した景観をシミュレートした。
• ブロックCV、クラスタリングCV、BLO3 CV、LODO CV、BLO3 CV、V-fold CV などの複数の空間CVアプローチを、リサブスティテューションと標準的なランダム化CVと比較した。
• 予測変数 X2、X3、X6–X10 を用いて y を予測するためにランダムフォレスト（ranger）を適用した。
• RMSE でモデル性能を測定し、景観間予測から導かれた「真の」 RMSE 範囲と推定値を比較した。
• yと残差の空間自己相関の範囲を計算して、適切な D_in/D_out の間隔を示唆した。
• すべての手法を spatialsample に実装し、tidymodels インフラストラクチャに合わせた。

Figure 1: One simulation of the dependent variable $y$ and several of the CV approaches used. A: Simulated data showing environmental clustering of a variable of interest, named “Target”, in one simulated landscape. B: Spatial clustering CV fold assignments, as produced by spatial_clustering_cv() ,

実験結果

リサーチクエスチョン

• RQ1 空間的に構造化されたデータのモデル一般化を推定する際、異なる空間交差検証アプローチはどのように機能するか？
• RQ2 空間的に結合した評価データと除外バッファを組み合わせた空間CV法は、他のアプローチよりもより正確な性能推定を提供するか。
• RQ3 どのパラメータ設定（ブロックサイズ、折り数、バッファ、取り込み半径）が、真の RMSE 範囲に最も近い RMSE 推定を生み出すか？
• RQ4 D_in と D_out の間隔が、性能推定のバイアスにどのように影響するか？
• RQ5 tidymodels 内の実用的なツールは、これらの空間CV法を応用モデリング・パイプラインに効果的に実装できるか？

主な発見

• 空間CV法は、リサブスティチューションまたはランダム化CVよりも一般的により正確な性能推定をもたらす。
• Methods that combine D_out of spatially conjunct observations with exclusion buffers provided the best estimates of model performance.
• 空間的に結合した観測の D_out を除外バッファと組み合わせる方法が、モデル性能の最良の推定を提供した。
• 空間クラスタリングと leave-one-disc-out (LODO) CV は、パラメータ設定全般で最も一貫して効果的なアプローチの1つだった。
• 過度にデータを除外すると（例: 折り数が少ない、ブロックが過度に大きい等）、保守的な RMSE 推定を生み出した。
• 最も良く機能するパラメータ設定は、D_out と D_in をグリッド長の約25–41%離すもので、結果の自己相関範囲と一致した。
• Clustered CV はパラメータ設定全般で頑健性を示したが、検討したパラメータ空間が狭い可能性がある。

Figure 2: RMSE distributions of each spatial CV method evaluated. The x axis represents the distance of an RMSE from the mean “true” RMSE values, such that negative values underpredict the true RMSE and positive values overpredict it. Distributions are scaled relative to the number of iterations run