[논문 리뷰] Leave-group-out cross-validation for latent Gaussian models

Zhedong Liu, Van Niekerk, Janet외 1명|arXiv (Cornell University)|2022. 10. 10.

Gaussian Processes and Bayesian Inference인용 수 16

한 줄 요약

이 논문은 잠재 가우시안 모델에 대해 이웃 그룹 제거 교차검증(LGOOCV)을 제안하여 종속된 자료 설정에서 이웃 하나를 제거하는 교차검증(LOOCV)의 한계를 해결한다. 단일 관측치가 아니라 종속된 관측치의 그룹을 제거함으로써 LGOOCV는 실제 예측 작업을 더 잘 반영하며, R-INLA를 사용하여 모델 재적합 없이도 예측 점수를 효율적으로 계산함으로써 공간적, 시간적, 계층적 자료에서 정확한 모델 평가가 가능해진다.

ABSTRACT

Evaluating the predictive performance of a statistical model is commonly done using cross-validation. Among the various methods, leave-one-out cross-validation (LOOCV) is frequently used. Originally designed for exchangeable observations, LOOCV has since been extended to other cases such as hierarchical models. However, it focuses primarily on short-range prediction and may not fully capture long-range prediction scenarios. For structured hierarchical models, particularly those involving multiple random effects, the concepts of short- and long-range predictions become less clear, which can complicate the interpretation of LOOCV results. In this paper, we propose a complementary cross-validation framework specifcally tailored for longer-range prediction in latent Gaussian models, including those with structured random effects. Our approach differs from LOOCV by excluding a carefully constructed set from the training set, which better emulates longer-range prediction conditions. Furthermore, we achieve computational effciency by adjusting the full joint posterior for this modifed cross-validation, thus eliminating the need for model reftting. This method is implemented in the R-INLA package (www.r-inla.org) and can be adapted to a variety of inferential frameworks.

연구 동기 및 목표

• 공간적, 시간적, 또는 계층적 구조를 가진 종속된 자료에서 LOOCV가 초래하는 과도하게 낙관적인 예측 성능 평가 문제를 해결하기 위해.
• 단일 관측치가 아닌 종속된 관측치의 전체 그룹을 제거하여 더 현실적인 예측 작업을 정의하기 위해.
• 잠재 가우시안 모델에서 교차검증 중에 전체 모델 재적합을 피하는 계산적으로 효율적인 방법을 개발하기 위해.
• 비 i.i.d. 설정에서 실제 예측 시나리오와 부합하는 베이지안 모델 평가 프레임워크를 제공하기 위해.
• 응용 통계 분야에서 널리 접근 가능하고 실용적으로 사용할 수 있도록 R-INLA 패키지에 이 방법을 구현하기 위해.

제안 방법

• 종속된 관측치의 전체 그룹을 학습 세트에서 제거하는 방식으로 LOOCV를 수정한 이웃 그룹 제거 교차검증(LGOOCV)을 제안한다.
• 의존성 패턴(예: 공간적 근접성, 시간적 순서, 계층적 내재성 등)을 기반으로 자동으로 그룹 구조를 결정하여 제거 집합을 정의한다.
• 잠재 가우시안 모델의 조건부 독립성 특성을 활용하여 전체 모델의 결합 사후분포를 재사용함으로써, 모델 재적합 없이도 제거된 그룹의 예측 점수를 계산한다.
• 희소 행렬 연산과 기존 정밀도 행렬 분해를 재사용하여 예측 밀도를 효율적으로 계산한다.
• 고정 효과 또는 식별성 조건을 유지하면서도 계산 가능성을 확보하기 위해 모델에 선형 제약 조건을 적용한다.
• 평가 지표로 로그 점수를 사용한다: $ u_{LGOOCV} = \frac{1}{|I|} \sum_{i \in I} \log \pi(y_i | \boldsymbol{y}_{-I}) $, 여기서 $ I $ 는 제거된 그룹이다.

실험 결과

연구 질문

• RQ1 공간적, 시간적, 또는 다수준 구조를 가진 종속된 자료에서 교차검증을 어떻게 수정하여 실제 예측 작업을 더 잘 반영할 수 있는가?
• RQ2 잠재 가우시안 모델에서 단일 관측치(LOOCV)를 제거하는 것과 전체 그룹(LGOOCV)을 제거하는 것이 예측 성능 평가에 미치는 영향은 무엇인가?
• RQ3 각 제거된 그룹에 대해 모델를 재적합하지 않고도 예측 성능을 정확하게 평가할 수 있는가?
• RQ4 잠재 가우시안 모델에서 그룹 제거 조건 하에 결합 사후분포를 효율적으로 조정하여 예측 점수를 계산할 수 있는가?
• RQ5 비 i.i.d. 설정에서 LOOCV에 비해 LGOOCV는 어떤 계산적·통계적 이점이 있는가?

주요 결과

• LGOOCV는 LOOCV보다 종속된 자료에서 더 현실적인 예측 성능 평가를 제공하며, 단일 관측치 제거에 기인한 내삽 편향을 피한다.
• 전체 사후분포를 재사용하고 희소 행렬 해법 및 사후 조정을 통해 효율적으로 예측 밀도를 계산함으로써 전체 모델 재적합을 피한다.
• 잠재 가우시안 모델의 정밀도 행렬의 콜레스키 분해를 재사용함으로써 계산이 가능하고 확장성이 있다.
• 프레임워크는 R-INLA 패키지에 구현되어 있어 공간적, 시간적, 계층적 모델링에서 즉각적인 적용이 가능하다.
• 실증 결과에 따르면 강한 종속성 구조를 가진 설정에서 LGOOCV는 LOOCV보다 더 안정적이고 신뢰할 수 있는 모델 비교를 제공한다.
• 잠재 필드의 선형 제약 조건을 정확히 처리하여 식별성 제약 조건 하에서도 유효한 추론을 보장한다.