[論文レビュー] Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization

Lorenzo Pacchiardi, Ritabrata Dutta|arXiv (Cornell University)|May 31, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文は、尤度フリーなベイズ推論のための生成的ニューラルネットワークの訓練を、スコアルール最小化を用いて行う手法を提案する。これは、GANベースの訓練における不安定性を回避し、敵対的でない安定した代替手法を提供する。本手法は、特にノイズのあるカメラモデルを伴う画像再構成のような高次元設定において、敵対的訓練よりも優れた不確実性の定量化とより速い収束を達成する。

ABSTRACT

Bayesian Likelihood-Free Inference methods yield posterior approximations for simulator models with intractable likelihood. Recently, many works trained neural networks to approximate either the intractable likelihood or the posterior directly. Most proposals use normalizing flows, namely neural networks parametrizing invertible maps used to transform samples from an underlying base measure; the probability density of the transformed samples is then accessible and the normalizing flow can be trained via maximum likelihood on simulated parameter-observation pairs. A recent work [Ramesh et al., 2022] approximated instead the posterior with generative networks, which drop the invertibility requirement and are thus a more flexible class of distributions scaling to high-dimensional and structured data. However, generative networks only allow sampling from the parametrized distribution; for this reason, Ramesh et al. [2022] follows the common solution of adversarial training, where the generative network plays a min-max game against a "critic" network. This procedure is unstable and can lead to a learned distribution underestimating the uncertainty - in extreme cases collapsing to a single point. Here, we propose to approximate the posterior with generative networks trained by Scoring Rule minimization, an overlooked adversarial-free method enabling smooth training and better uncertainty quantification. In simulation studies, the Scoring Rule approach yields better performances with shorter training time with respect to the adversarial framework.

研究の動機と目的

• 生成的ネットワークの尤度フリー推論における敵対的訓練の不安定性と不確実性の定量化の悪さを解消すること。
• GANで一般的に見られるミニマックスゲームとモード崩壊を回避する代替の訓練パラダイムを検討すること。
• スコアルール最小化が、シミュレータベースのベイズ推論において敵対的訓練よりも優れた事後分布近似をもたらすかどうかを評価すること。
• 画像のような高次元で構造的なデータにおいて、性能と訓練効率の向上を実証すること。

提案手法

• 敵対的訓練の代わりに、スコアルール最小化を用いて生成的ニューラルネットワークを事後分布の近似に訓練する。
• 適切なスコアルール（特にエネルギースコアとカーネルスコア）を目的関数として用い、予測分布の品質を評価する。
• シミュレートされたパラメータ-観測ペアの集合について、期待スコアルール値を最小化することで生成的ネットワークのパラメータを最適化する。
• 高次元データ（例：画像）を効率的に処理するため、パッチベースのスコアルール（例：パッチサイズ8、ストライド5）を適用する。
• ディスクライマーネットワークの使用を回避することで、ミニマックス最適化問題の解法の必要性を排除する。
• スコアルール目的関数に基づいて、確率的勾配降下法を用いて生成モデルをエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 スコアルール最小化は、尤度フリー推論における事後分布近似のための敵対的訓練よりも、より安定的で信頼性の高い代替手段を提供できるか？
• RQ2 スコアルール訓練は、GANベースの手法と比較して、より優れた不確実性の定量化をもたらすか？
• RQ3 高次元データにおいて、スコアルールベースの訓練は敵対的訓練と比較して、収束速度と最終的な精度の点で優れているか？
• RQ4 スコアルール最小化は、シミュレータベース推論における構造的で高次元なデータ（例：画像）を効果的に処理できるか？

主な発見

• スコアルールベースの手法は、GAN（0.25）と比較して顕著に低いRMSE（0.06–0.07）を達成し、事後平均推定が優れていることを示した。
• スコアルール手法は、GAN（0.50）と比較して低いキャリブレーション誤差（0.36）を示し、より信頼性の高い不確実性の定量化を示した。
• スコアルールによる訓練は、GAN（45,398秒）と比較して22,545–22,633秒のわずか半分以下の実行時間で、早期にストップエポックに到達した。
• スコアルール手法による事後標準偏差マップは、GAN出力と比較して、画像境界付近でより空間的に一貫性があり、バイアスが少なかった。
• 画素値が有界であるためR²値が低かったにもかかわらず、スコアルール手法は、メトリクスと設定のあらゆる側面で一貫性のある性能を示した。
• パッチサイズ8、ストライド5のカーネルスコアとエネルギースコアが、他の設定と比較して精度と安定性の両面で最も優れた結果をもたらした。