[논문 리뷰] Neural Bayes estimators for censored inference with peaks-over-threshold models

J. Ian Richards, Matthew Sainsbury-Dale외 2명|arXiv (Cornell University)|2023. 06. 27.

Statistical Methods and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 캔서링된 피크-오버-스레시드 모델에 대한 공간 극단치에서 빠르고 가능도 기반 접근법 없이 추론할 수 있도록 하는 신경 베이즈 추정기(NBEs)를 제안한다. 이는 캔서링 정보를 직접 컷널 신경망 아키텍처에 통합함으로써 달성된다. 기존 가능도 기반 접근법에 비해 계산 및 통계적 효율성에서 상당한 향상을 이룩하며, 고차원 공간 극단치 모델의 실시간 피팅을 가능하게 한다. 학습 후 모델당 수밀리초 내외로 추론이 가능하며, 사우디 아라비아 전역의 PM₂.₅ 데이터에 적용하여 성능을 입증하였다.

ABSTRACT

Making inference with spatial extremal dependence models can be computationally burdensome since they involve intractable and/or censored likelihoods. Building on recent advances in likelihood-free inference with neural Bayes estimators, that is, neural networks that approximate Bayes estimators, we develop highly efficient estimators for censored peaks-over-threshold models that {use data augmentation techniques} to encode censoring information in the neural network {input}. Our new method provides a paradigm shift that challenges traditional censored likelihood-based inference methods for spatial extremal dependence models. Our simulation studies highlight significant gains in both computational and statistical efficiency, relative to competing likelihood-based approaches, when applying our novel estimators to make inference with popular extremal dependence models, such as max-stable, $r$-Pareto, and random scale mixture process models. We also illustrate that it is possible to train a single neural Bayes estimator for a general censoring level, precluding the need to retrain the network when the censoring level is changed. We illustrate the efficacy of our estimators by making fast inference on hundreds-of-thousands of high-dimensional spatial extremal dependence models to assess extreme particulate matter 2.5 microns or less in diameter (${ m PM}_{2.5}$) concentration over the whole of Saudi Arabia.

연구 동기 및 목표

• 캔서링된 데이터를 가진 공간 극단치 의존 모델에서 가능도 기반 추론의 계산 부담을 해결하기 위해.
• 명시적인 가능도 평가가 필요 없이 베이즈 추정기를 근사화하는 신경망 기반 접근법을 개발하기 위해.
• 다양한 캔서링 수준에서 고차원 공간 극단치에 대해 암시적이고 재사용 가능한 추론을 가능하게 하기 위해.
• 실제 환경 데이터(예: PM₂.₅ 농도)를 대상으로 확장성과 통계적 효율성을 입증하기 위해.
• 재학습이 필요 없도록 단일 NBE를 다양한 캔서링 임계값에 대해 학습시킬 수 있는지 탐색하기 위해.

제안 방법

• 캔서링 임계값을 입력 표현의 일부로 명시적으로 코딩하는 컨볼루션 신경망(CNN) 아키텍처를 설계하기 위해.
• 캔서링된 값이 포함된 공간 극단치 데이터를 모델 파라미터의 사후 평균 추정치로 매핑하도록 네트워크를 훈련시키기 위해.
• 기존 파라미터와 캔서링 수준에서 알려진 조건 하에 시뮬레이션을 기반으로 한 훈련 프레임워크를 사용하여 종단 간 학습을 가능하게 하기 위해.
• 재학습 없이 다양한 캔서링 수준에 일반화하기 위해 사용자 정의 캔서링 확률 τ를 통합하기 위해.
• 신경망의 암시적 성질을 활용하여, 학습 후 모델당 단일 순방향 전파만으로도 빠른 추론을 가능하게 하기 위해.
• 국소적으로 정적 프레임워크 내에서 정적 및 이방향 공간 의존성 구조를 모두 처리할 수 있도록 네트워크를 적응시키기 위해.

실험 결과

연구 질문

• RQ1 신경 베이즈 추정기는 캔서링된 공간 극단치에 대해 기존 가능도 기반 추론에 비해 계산 속도와 통계적 효율성 면에서 뛰어나게 되는가?
• RQ2 재학습 없이도 임의의 캔서링 수준을 처리할 수 있도록 단일 신경 추정기를 학습시킬 수 있는가?
• RQ3 NBE는 최대 안정성, r-Pareto, 랜덤 스케일 혼합 과정 등과 같은 복잡한 의존 구조를 가진 고차원 공간 극단치 모델에서 얼마나 잘 성능을 내는가?
• RQ4 NBE는 대규모 공간 데이터셋(예: 전국적 PM₂.₅ 농도 모델링)에서 대규모 실시간 추론을 가능하게 하는가?
• RQ5 현재 프레임워크는 비정규 영역, 비정적 과정, 고차원 파라미터 공간 처리에서의 한계는 무엇인가?

주요 결과

• 제안된 신경 베이즈 추정기는 학습 후 모델당 수밀리초 내외로 수십만 개의 고차원 공간 모델에 대한 추론을 가능하게 하여 상당한 계산 속도 향상을 달성하였다.
• 특히 고도의 캔서링과 복잡한 극단치 의존성 환경에서 기존 가능도 기반 방법에 비해 뛰어난 통계적 효율성을 보였다.
• 단일 NBE는 임의의 캔서링 임계값 τ에 대해 학습이 가능하여 캔서링 수준이 변경될 때마다 재학습이 필요 없어졌다.
• 이전에는 계산적으로 불가능했던 복잡한 극단치 모델을 대상으로 한 대규모 부트스트랩 연구를 성공적으로 수행하였다.
• 사우디 아라비아 전역의 PM₂.₅ 데이터에 적용한 결과, 이전에 없었던 규모와 해상도로 공간 극단치 의존성에 대한 새로운 통찰을 확보하였다.
• 네트워크 아키텍처와 입력 표현을 적응시킴으로써 생존 분석과 같은 다른 캔서링 데이터 문제로도 확장 가능성이 있다.