[論文レビュー] The CAST package for training and assessment of spatial prediction models in R

Hanna Meyer, Marvin Ludwig+3 more|arXiv (Cornell University)|Apr 10, 2024

demographic modeling and climate adaptation被引用数 5

ひとこと要約

CAST Rパッケージは、空間的に認識された機械学習ワークフローのツールを提供します。新規のクロスバリデーション（NNDM/kNNDM）、適用可能性の領域、特徴選択、ピクセルレベルの不確実性を含み、南アメリカの植物種多様性の豊富さで実証されています。

ABSTRACT

One key task in environmental science is to map environmental variables continuously in space or even in space and time. Machine learning algorithms are frequently used to learn from local field observations to make spatial predictions by estimating the value of the variable of interest in places where it has not been measured. However, the application of machine learning strategies for spatial mapping involves additional challenges compared to "non-spatial" prediction tasks that often originate from spatial autocorrelation and from training data that are not independent and identically distributed. In the past few years, we developed a number of methods to support the application of machine learning for spatial data which involves the development of suitable cross-validation strategies for performance assessment and model selection, spatial feature selection, and methods to assess the area of applicability of the trained models. The intention of the CAST package is to support the application of machine learning strategies for predictive mapping by implementing such methods and making them available for easy integration into modelling workflows. Here we introduce the CAST package and its core functionalities. At the case study of mapping plant species richness, we will go through the different steps of the modelling workflow and show how CAST can be used to support more reliable spatial predictions.

研究の動機と目的

• 空間自己相関と非i.i.d. 学習データのため、機械学習を空間予測タスクへ適用する際の課題を動機づける。
• CASTを、RのMLワークフローに空間的クロスバリデーション、特徴選択、適用性評価を統合するツールキットとして提示する。
• CASTの機能を用いて南アメリカの植物種多様性を予測する実践的なワークフローを実証する。
• 予測の不確実性を定量化し、モデル予測が有効な領域を境界付ける方法を示す。

提案手法

• 予測指向のクロスバリデーション戦略としてNearest Neighbor Distance Matching (NNDM) とそのk分割変種(kNNDM)を導入し、予測条件を模倣するために訓練データと予測データの最近傍距離の分布を一致させる。
• geodist等の可視化ツールを提供し、地理的距離を比較し、クロスバリデーション分割の代表性を評価する。
• 過剰適合を減らし、空間予測性能を向上させるための空間的特徴選択（前方特徴選択）を実装する（CAST::ffs）。
• 予測空間における非類似度指標(DI)を用いて適用可能性領域（AOA）を定義・計算し、局所データ密度(LPD)をオプションで用いて外挿リスクを示す（CAST::aoa, CAST::trainDI）。
• DIとAOAに基づくピクセル単位の誤差プロファイル（CAST::errorProfiles）を用いて予測性能を推定し、不確実性マッピングを可能にする。
• 一般的なMLワークフロー（caret, ranger）との統合と、terraおよびsfによるラスタ/ベクトルデータとの互換性を実証する。

実験結果

リサーチクエスチョン

• RQ1 prediction-oriented cross-validation戦略（NNDM/kNNDM）が空間モデルの現実的な地図精度推定にどう影響するか？
• RQ2 空間的特徴選択は過学習を減らし、空間的な精度を維持または向上させつつ予測マッピングを改善できるか？
• RQ3 適用可能性領域をどのように定義・利用して、訓練データに含まれない領域で信頼できない予測を避けるか？
• RQ4 predictor-spaceの非類似性とデータ密度指標を用いて、ピクセル単位の不確実性をどのように定量化・伝達するか？

主な発見

モデル	クロス検証	RMSE	R2	予測因子
全体	ランダムk分割	24.16	0.71	11
全体	kNNDM	33.34	0.47	11
簡易版	kNNDM	31.97	0.52	5
簡易版	ランダムk分割	24.31	0.71	5*

• kNNDMクロスバリデーションは、予想される地理的外挿条件を反映して、ランダムなk-fold CVより現実的で、しばしば評価指標が悪化する。
• 適切な空間CV戦略下での前方特徴選択は、RMSEを減らし、予測因子数を抑えつつR2を改善できる。
• AOAは、 predictor空間における訓練データとの非類似度に基づき、モデル予測が信頼できる領域を特定する。AOA外の予測はマスクされる。
• 不確実性マッピングを可能にするエラープロファイルは、交差検証済みの性能と局所の predictor-space 非類似性を結びつける。
• 南アメリカの植物種多様性の例では、5予測因子を用いた簡略化モデルでkNNDMを適用した場合のRMSEは31.97、R2は0.52で、完全モデルのランダムCVのRMSEは24.16、R2は0.71（n=表セル）となり、CV選択が報告性能に与える影響を示した。
• CASTワークフローは、クロスバリデーション、特徴選択、AOA、そして不確実性評価を統合し、より信頼性のある空間予測を生み出す。