[論文レビュー] Leave-group-out cross-validation for latent Gaussian models

Zhedong Liu, Van Niekerk, Janet+1 more|arXiv (Cornell University)|Oct 10, 2022

Gaussian Processes and Bayesian Inference被引用数 16

ひとこと要約

本稿では、空間的・時系列的・階層的構造を示す従属データにおいて、LOOCVの限界を克服するため、潜在ガウスモデルにためのleave-group-out cross-validation（LGOOCV）を提案する。単一の観測値ではなく、従属する観測値のグループを除外することで、より現実の予測タスクに近い評価が可能となり、R-INLAを用いてモデルの再適合を伴わずに予測スコアを効率的に計算できる。これにより、空間的・時系列的・階層的データにおける正確なモデル評価が可能になる。

ABSTRACT

Evaluating the predictive performance of a statistical model is commonly done using cross-validation. Among the various methods, leave-one-out cross-validation (LOOCV) is frequently used. Originally designed for exchangeable observations, LOOCV has since been extended to other cases such as hierarchical models. However, it focuses primarily on short-range prediction and may not fully capture long-range prediction scenarios. For structured hierarchical models, particularly those involving multiple random effects, the concepts of short- and long-range predictions become less clear, which can complicate the interpretation of LOOCV results. In this paper, we propose a complementary cross-validation framework specifcally tailored for longer-range prediction in latent Gaussian models, including those with structured random effects. Our approach differs from LOOCV by excluding a carefully constructed set from the training set, which better emulates longer-range prediction conditions. Furthermore, we achieve computational effciency by adjusting the full joint posterior for this modifed cross-validation, thus eliminating the need for model reftting. This method is implemented in the R-INLA package (www.r-inla.org) and can be adapted to a variety of inferential frameworks.

研究の動機と目的

• 空間的・時系列的・階層的構造を示す従属データにおいて、LOOCVが引き起こす過剰に楽観的な予測性能評価の問題を解消すること。
• 単一の観測値ではなく、従属する観測値のグループをすべて除外することで、より現実的な予測タスクを定義すること。
• 潜在ガウスモデルにおいて、各除外グループごとにモデルを完全に再適合しない、計算効率の良い手法を開発すること。
• 非i.i.d.設定における実際の予測シナリオに整合するベイジアンモデル評価のフレームワークを提供すること。
• R-INLAパッケージへの実装を通じて、応用統計分野における広範な利用可能性と実用性を確保すること。

提案手法

• 単一観測値の除外に代えて、従属する観測値のグループ全体を訓練セットから除外するLGOOCVをLOOCVの修正版として提案する。
• 空間的近接性・時系列的順序・階層的ネスティングなどの従属パターンに基づいて、自動的にグループ構造を同定し、除外集合を定義する。
• 潜在ガウスモデルにおける条件付き独立性を活用し、完全なモデルの事後分布を再利用することで、再適合を伴わずに除外グループの予測スコアを計算する。
• スparser行列演算と既存の精度行列の分解を再利用することで、予測密度を効率的に計算する。
• 固定効果や識別可能性条件を扱うためにモデルに線形制約を適用しつつ、計算の扱いやすさを維持する。
• 評価指標として対数スコアを用いる：$ u_{LGOOCV} = \frac{1}{|I|} \sum_{i \in I} \log \pi(y_i | \boldsymbol{y}_{-I}) $、ここで$ I $は除外されたグループである。

実験結果

リサーチクエスチョン

• RQ1 空間的・時系列的・多層構造を示す従属データにおいて、交差検証をどのように変更すれば、現実の予測タスクをよりよく反映できるか？
• RQ2 潜在ガウスモデルにおいて、単一観測値（LOOCV）を除外するのと、グループ全体（LGOOCV）を除外するのとで、予測性能評価にどのような影響を与えるか？
• RQ3 各除外グループごとにモデルを完全に再適合しないで、予測性能を正確に評価できるか？
• RQ4 潜在ガウスモデルにおいて、グループの除外を想定した状況で、事後分布を効率的に調整し、予測スコアを計算するにはどうすればよいか？
• RQ5 非i.i.d.設定において、LOOCVに比べてLGOOCVが示す計算的・統計的利点は何か？

主な発見

• LGOOCVは、単一観測値の除外に起因する内挿バイアスを回避するため、従属データにおける予測性能の評価がLOOCVよりも現実的である。
• 完全なモデルの再適合を回避し、完全な事後分布を再利用することで、スパース行列の解法と事後分布の調整を効率的に用いて予測密度を計算する。
• 潜在ガウスモデルにおける精度行列のコレスキー分解を再利用することで、計算が実行可能かつスケーラブルである。
• フレームワークはR-INLAパッケージに実装されており、空間的・時系列的・階層的モデリングへの即時応用が可能である。
• 実証的結果から、強い従属構造を示す設定において、LGOOCVはLOOCVに比べてより安定的かつ信頼性の高いモデル比較をもたらすことが示された。
• 潜在フィールドにおける線形制約を正しく処理でき、識別可能性制限下でも有効な推論を保証する。