[論文レビュー] Neural Bayes estimators for censored inference with peaks-over-threshold models

J. Ian Richards, Matthew Sainsbury-Dale+2 more|arXiv (Cornell University)|Jun 27, 2023

Statistical Methods and Bayesian Inference被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワークアーキテクチャに直接censoring情報を埋め込むことで、空間極値におけるcensored peaks-over-thresholdモデルの高速で尤度フリーな推論を可能にするニューラルベイズ推定器（NBEs）を提案する。従来の尤度ベースの手法と比較して、計算および統計的効率性に顕著な向上を達成し、高次元空間極値モデルのリアルタイム適合が可能である—トレーニング後、1モデルあたり数ミリ秒の推論時間で実証済み。

ABSTRACT

Making inference with spatial extremal dependence models can be computationally burdensome since they involve intractable and/or censored likelihoods. Building on recent advances in likelihood-free inference with neural Bayes estimators, that is, neural networks that approximate Bayes estimators, we develop highly efficient estimators for censored peaks-over-threshold models that {use data augmentation techniques} to encode censoring information in the neural network {input}. Our new method provides a paradigm shift that challenges traditional censored likelihood-based inference methods for spatial extremal dependence models. Our simulation studies highlight significant gains in both computational and statistical efficiency, relative to competing likelihood-based approaches, when applying our novel estimators to make inference with popular extremal dependence models, such as max-stable, $r$-Pareto, and random scale mixture process models. We also illustrate that it is possible to train a single neural Bayes estimator for a general censoring level, precluding the need to retrain the network when the censoring level is changed. We illustrate the efficacy of our estimators by making fast inference on hundreds-of-thousands of high-dimensional spatial extremal dependence models to assess extreme particulate matter 2.5 microns or less in diameter (${ m PM}_{2.5}$) concentration over the whole of Saudi Arabia.

研究の動機と目的

• censoredデータを伴う空間極値依存モデルにおける尤度ベース推論の計算負荷を軽減すること。
• 明示的な尤度評価を必要としないニューラルネットワークベースの手法を構築し、ベイズ推定器を近似すること。
• さまざまなcensoringレベルに耐えうる、アモート化され再利用可能な推論を、高次元空間極値に対して可能にすること。
• 実世界の環境データ（例：PM₂.₅濃度）を用いてスケーラビリティと統計的効率性を実証すること。
• 再トレーニングの必要を減らすために、1つのNBEを任意のcensoring閾値で学習可能かどうかを検討すること。

提案手法

• censoring閾値を入力表現の一部として明示的に符号化する畳み込みニューラルネットワーク（CNN）アーキテクチャを設計すること。
• censored値を含む空間極値データを、モデルパラメータの後方平均推定値にマップするようにネットワークを訓練し、ベイズ推定器を近似すること。
• 既知のパラメータとcensoringレベルの下で合成データを生成するシミュレーションベースのトレーニングフレームワークを用い、エンドツーエンド学習を可能にすること。
• censoringレベルの変更に伴う再トレーニングを回避するために、ユーザー定義のcensoring確率τを導入し、推定器の一般化を図ること。
• ニューラルネットワークのアモート化特性を活用し、トレーニング後は1モデルあたり1回の順伝播で高速推論を実現すること。
• 局所的に定常なフレームワーク内で、定常的および非定常的空間依存構造の両方を扱えるようにネットワークを適応させること。

実験結果

リサーチクエスチョン

• RQ1 ニューラルベイズ推定器は、censored空間極値において、従来の尤度ベース推論を速度と統計的効率性の両面で上回ることができるか？
• RQ2 再トレーニングを伴わずに、1つのニューラル推定器を任意のcensoringレベルに適応可能にできるか？
• RQ3 NBEsは、max-stable、r-Pareto、およびランダムスケール混合過程といった複雑な依存構造を持つ高次元空間極値モデルにおいて、どの程度の性能を示すか？
• RQ4 NBEsは、全国規模のPM₂.₅濃度モデリングのような大規模空間データセットにおいて、大規模かつリアルタイムの推論を可能にするか？
• RQ5 現在のフレームワークには、不規則な領域、非定常過程、または高次元パラメータ空間の取り扱いにおける限界があるか？

主な発見

• 提案されたニューラルベイズ推定器は、トレーニング後、1モデルあたり数ミリ秒で数十万件の高次元空間モデルの推論を実現するという顕著な計算スピードアップを達成した。
• 特に高いcensoring率と複雑な極値依存構造の下で、尤度ベースの手法に比べて優れた統計的効率性を示した。
• 1つのNBEを任意のcensoring閾値τに対して学習可能であり、censoringレベルの変更に伴う再トレーニングの必要性がなくなった。
• 従来は計算的に非現実的だった、複雑な極値モデルを用いた大規模ブートストラップスタディの実現に成功した。
• サウジアラビア全域のPM₂.₅データへの応用により、これまでにないスケールと解像度で空間極値依存構造に関する新たな知見が得られた。
• ネットワークアーキテクチャと入力表現を適応させることで、生存分析など他のcensoredデータ問題への応用も可能である。