[논문 리뷰] Graphical outputs and Spatial Cross-validation for the R-INLA package using INLAutils

Tim Lucas, André Python외 1명|arXiv (Cornell University)|2020. 04. 05.

Soil Geostatistics and Mapping참고 문헌 17인용 수 4

한 줄 요약

이 논문은 R-INLA를 보완하는 R 패키지인 INLAutils를 소개한다. 이 패키지는 베이지안 공간 모델의 직관적인 그래픽 요약 및 공간적 한 개 포인트 제거 교차검증(SLOOCV)을 제공한다. 이는 ggplot2를 통해 모델 출력물을 효율적으로 시각화하고, 공간 교차검증을 통해 모델 간 예측 성능을 자동으로 비교할 수 있도록 한다. Meuse 데이터셋에서 공간 효과가 있는 모델와 없는 모델 간 MAE 및 RMSE의 95% 신뢰구간이 겹치는 것으로 나타나, 두 모델 간 유의미한 성능 차이는 없음을 보여준다.

ABSTRACT

Statistical analyses proceed by an iterative process of model fitting and checking. The R-INLA package facilitates this iteration by fitting many Bayesian models much faster than alternative MCMC approaches. As the interpretation of results and model objects from Bayesian analyses can be complex, the R package INLAutils provides users with easily accessible, clear and customisable graphical summaries of model outputs from R- INLA. Furthermore, it offers a function for performing and visualizing the results of a spatial leave-one-out cross-validation (SLOOCV) approach that can be applied to compare the predictive performance of multiple spatial models. In this paper, we describe and illustrate the use of (1) graphical summary plotting functions and (2) the SLOOCV approach. We conclude the paper by identifying the limits of our approach and discuss future potential improvements.

연구 동기 및 목표

• 비전문가 사용자들이 이해하기 어려운 중첩된 리스트 형식으로 저장된 복잡한 R-INLA 모델 출력물을 해석하는 데 어려움을 해결하기 위해.
• ggplot2를 활용한 사용자 정의 가능한 그래픽 요약을 제공하여 R-INLA 결과의 시각화를 용이하게 하여 모델 개발 워크플로우를 향상시키기 위해.
• 공간 자기상관을 고려한 공간적 한 개 포인트 제거 교차검증(SLOOCV) 절차를 구현하여 모델 평가의 정확성을 높이기 위해.
• MAE 및 RMSE와 같은 예측 성능 지표를 바탕으로 여러 공간 모델을 직접 비교할 수 있도록 하기 위해.
• 최소한의 코드 작성으로도 연구자가 공간 베이지안 모델링에서 모델 적합도와 예측 정확도를 평가할 수 있도록 지원하기 위해.

제안 방법

• 패키지는 R-INLA를 확장하여 INLA 모델 객체에 맞는 커스터마이즈 가능한 자동 시각화 기능을 제공하는 커스텀 autoplot 메서드를 구현한다. 이는 ggplot2를 활용해 사후 분포, 예측값, 잔차를 영리하고 맞춤형으로 시각화할 수 있도록 한다.
• 잔차를 예측값에 대해 시각화할 수 있는 ggplot_inla_residuals 함수를 도입하며, 스무딩 및 표준오차 밴드 기능도 포함한다.
• inlasloo 함수는 각 외삽 포인트 주변의 사용자 정의 반경 내에서 관측치를 반복적으로 제거함으로써 공간적 한 개 포인트 제거 교차검증을 수행한다. 이는 공간적 의존성을 유지한다.
• 모델 학습 데이터에서 외삽 포인트 주변의 근접한 관측치를 제외하기 위해, 각 외삽 포인트 주변에 공간 버퍼(rad)를 설정함으로써 현실적인 예측 평가를 향상시킨다.
• 예측 성능 평가에는 MAE와 RMSE를 사용하며, 교차검증 반복 과정을 기반으로 부트스트래핑을 통해 95% 신뢰구간을 계산한다.
• 패키지는 하나의 호출로 여러 모델과 가족(예: 정규분포, 이항분포)을 지원하여, 다양한 모델 설정 간 예측 성능을 직접 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비전문가 사용자가 쉽게 접근하고 커스터마이즈할 수 있는 R-INLA 모델 출력의 그래픽 요약은 어떻게 개선될 수 있는가?
• RQ2 표준 한 개 포인트 제거 교차검증에 비해 공간적 한 개 포인트 제거 교차검증은 공간 모델의 예측 성능 평가 신뢰도를 어느 정도 향상시키는가?
• RQ3 실제 공간 데이터셋에서 SLOOCV 절차는 공간 랜덤 효과가 있는 모델과 없는 모델을 효과적으로 구분할 수 있는가?
• RQ4 INLAutils 프레임워크를 사용해 여러 모델에 대해 SLOOCV를 수행할 경우의 계산 비용은 얼마나 되는가?
• RQ5 공간 교차검증 하에서 공간 성분이 있는 모델과 없는 모델 간 MAE 및 RMSE 값은 어떻게 비교되는가?

주요 결과

• INLAutils 패키지는 R-INLA 모델 출력물을 시각화하기 위한 ggplot2 기반 인터페이스를 성공적으로 구현하여, 사용자가 사후 분포, 예측값, 잔차를 완전히 커스터마이즈 가능하게 쉽게 점검할 수 있도록 한다.
• inlasloo 함수는 사용자 정의 반경을 기반으로 효율적인 공간 교차검증을 가능하게 하며, 근접한 관측치가 모델 학습에서 제외되어 공간적 의존성을 반영한다.
• Meuse 데이터셋에서 공간 효과가 있는 모델와 없는 모델 간 MAE 및 RMSE의 신뢰구간이 겹치는 것으로 나타나, 두 모델 간 예측 성능에 통계적으로 유의미한 차이가 없음을 시사한다.
• SLOOCV 절차는 64GB RAM의 Intel Xeon 컴퓨터에서 약 3~5분 내로 20회의 반복을 완료하여, 대규모 공간 데이터셋에 대해서도 실현 가능함을 보여준다.
• 패키지는 하나의 호출로 여러 가족 및 모델을 지원하여, 다양한 모델 설정 간 예측 성능을 직접 비교할 수 있다.
• 저자들은 이론적 예측 점수의 부재 및 시공간 모델의 제외라는 한계를 지적하며, 향후 더 넓은 적용 범위를 위한 확장 가능성을 제안한다.