[論文レビュー] Neural Networks for Parameter Estimation in Intractable Models

Amanda Lenzi, Julie Bessac+2 more|arXiv (Cornell University)|Jul 29, 2021

Fault Detection and Control Systems被引用数 6

ひとこと要約

本論文は、尤度が計算不能な統計モデルのパラメータ推定に深層学習を用いるアプローチを提案する。シミュレートされたデータを入力として、ニューラルネットワークを訓練し、データから直接パラメータへマッピングする。この手法は、最大安定分布過程における従来のペアワイズ尤度推定法と比較して、精度と速度の両面で優れている。尤度に基づく推論の代替手段として、スケーラブルなシミュレーションベースの手法を提供する。

ABSTRACT

We propose to use deep learning to estimate parameters in statistical models when standard likelihood estimation methods are computationally infeasible. We show how to estimate parameters from max-stable processes, where inference is exceptionally challenging even with small datasets but simulation is straightforward. We use data from model simulations as input and train deep neural networks to learn statistical parameters. Our neural-network-based method provides a competitive alternative to current approaches, as demonstrated by considerable accuracy and computational time improvements. It serves as a proof of concept for deep learning in statistical parameter estimation and can be extended to other estimation problems.

研究の動機と目的

• 複雑な統計モデル、特に多変量極値において尤度に基づく推論が計算的に非現実的である問題に対処する。
• 複合尤度やABC法の限界、すなわち要約統計量への感受性や高い計算コストを克服する。
• シミュレーション可能なモデルにおいて尤度評価が困難な場合に、シミュレートされたデータ上で訓練されたニューラルネットワークを用いて、尤度評価を回避するシミュレーションベースの推論フレームワークを構築する。
• 尤度計算が困難であるがシミュレーションが可能なモデルにおいて、深層ニューラルネットワークによるパラメータ推定の実現可能性と優位性を示す。

提案手法

• 統計モデルから得られるシミュレートされたデータを入力とし、対応するモデルパラメータを出力ラベルとして、深層ニューラルネットワークを訓練する。
• 空間的依存構造、特に極値的依存パターンを捉えるために、畳み込みニューラルネットワーク（CNN）を用いる。
• 高次元データからパラメータへの非線形なマッピングを自動で学習できることを活用し、手動による特徴工学を不要にする。
• 事前処理段階でネットワークを一度だけ訓練することで、運用段階で新しいデータセットに対して高速かつスケーラブルな推論を可能にする。
• 従来のABCが要約統計量と距離尺度に依存するのを避けるために、データを直接パラメータへマッピングするエンドツーエンドの学習アプローチを採用する。
• 空間的に依存するシミュレートされたデータを用いて、最大安定分布過程（例：Brown-ResnickおよびSchlatherモデル）に適用し、範囲、滑らかさ、依存パラメータを推定する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、尤度が計算不能なモデルにおいて、シミュレートされたデータからパラメータへの逆マッピングを効果的に学習できるか？
• RQ2 提案手法の深層学習アプローチは、バイアス、分散、計算効率の観点から、古典的なペアワイズ尤度推定法と比較してどの程度優れているか？
• RQ3 要約統計量や手作業による特徴量に依存せずに、ニューラルネットワークは複雑な空間的極値的依存構造をどの程度正確に捉えることができるか？
• RQ4 再訓練なしで、異なるデータセットやパラメータ設定に一般化できるか？
• RQ5 高次元かつ非ガウス型の依存構造モデルにおいて、深層学習と従来のABCや尤度に基づく推論の間には、計算的・統計的トレードオフが生じるか？

主な発見

• 深層学習アプローチは、Brown-ResnickおよびSchlatherモデルの両方において、ペアワイズ尤度と比較して顕著に低いバイアスと分散を達成した。
• CNNベースの手法は、極値係数関数の下位分位数、最小値、平均値の予測において、ペアワイズ尤度を上回った。
• 計算の高速化が顕著に実現され、一度の事前学習を経て、運用段階での高速推論が可能になった。
• CNNは、特に大きな空間的距離において、高極値的依存パターン（例：θ(h) < 1.5）をペアワイズ尤度よりも正確に捉えた。
• 最大値および中程度の分位数においては、CNNは空間的依存をわずかに過剰に推定したが、ペアワイズ尤度はそれを低く推定したため、バイアスプロファイルにトレードオフが生じた。
• シミュレーションからの不確実性の定量化において、95％信頼区間が観測された予測区間とよく一致し、ロバストネスを示した。