[論文レビュー] Neural Approximate Sufficient Statistics for Implicit Models

Yanzhi Chen, Dinghuai Zhang+3 more|ePrints Soton (University of Southampton)|Oct 20, 2020

Markov Chains and Monte Carlo Methods参考文献 59被引用数 21

ひとこと要約

本稿では、密度推定を伴わずにニューラルネットワークを用いた相互情報量最大化により、尤度が計算不可能な暗黙的生成モデルにおける尤度フリー推論のための近似的十分統計を自動的に学習する深層学習的手法を提案する。この手法は、従来のABCおよび現代的なニューラル尤度推定法の両方の性能を向上させ、多様なデータタイプにわたって精度と頑健性を高める、コンactかつ情報豊富な表現を学習する。

ABSTRACT

We consider the fundamental problem of how to automatically construct summary statistics for implicit generative models where the evaluation of the likelihood function is intractable, but sampling data from the model is possible. The idea is to frame the task of constructing sufficient statistics as learning mutual information maximizing representations of the data with the help of deep neural networks. The infomax learning procedure does not need to estimate any density or density ratio. We apply our approach to both traditional approximate Bayesian computation and recent neural likelihood methods, boosting their performance on a range of tasks.

研究の動機と目的

• 尤度が計算不可能な暗黙的モデルにおける尤度フリー推論のための低次元かつ情報豊富な要約統計の設計という課題に取り組む。
• 専門家が設計したあるいは手作業で作成された統計に依存することを排除し、深層学習を用いて十分統計の自動構築を実現する。
• 近似ベイズ計算（ABC）およびニューラル密度推定（NDE）に基づく尤度フリー推論手法の性能と頑健性を向上させること。
• 情報理論的原則を通じて表現学習と尤度フリー推論の間の原則的つながりを確立すること。

提案手法

• 十分統計の学習を、データとパラメータ間の相互情報量を最大にする問題として定式化し、その最大化を目指す。
• 分布に依存しない相互情報量推定器またはその代理（例：MINE、InfoNCE）を用いて、ニューラルネットワークを訓練し、生データからコンパクトで情報豊富な表現へ写像する。
• 学習された統計は、SMC-ABCおよびSNLフレームワークに統合され、それぞれSMC-ABC+およびSNL+を形成し、事後分布と十分統計の共同学習を可能にする。
• 密度推定や密度比推定を回避し、シミュレーションデータと相互情報量最適化にのみ依存する。
• アーキテクチャはエンドツーエンドで訓練され、事後分布推定と十分統計学習の間で反復的改善が可能になる。
• 本手法は、i.i.d.、時系列、グラフ構造データを含む、ガウス・コプアラおよびオルンシュタイン＝ウーレンの過程を含む多様なデータに対して評価されている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、尤度フリー推論において、手作業で作成された要約統計を上回る近似的十分統計を学習できるか？
• RQ2 深層学習による相互情報量最大化は、暗黙的モデルにおけるより頑健で正確な事後分布近似をもたらすか？
• RQ3 提案手法は、従来のABCおよび現代的なニューラル尤度手法の両方の性能を向上させることができるか？
• RQ4 高次元または複雑なデータ設定において、学習された統計は専門家が設計した統計と比較してどの程度の性能を示すか？

主な発見

• 提案されたニューラル近似的十分統計は、SMC-ABCおよびSNLの両方の精度と頑健性を顕著に向上させ、事後分布推定誤差を低減した。
• ガウス・コプアラモデルでは、本手法はSNLを上回る性能を示し、SNPEと同等の結果を達成したが、事後分布推定のばらつきが低かった。
• オルンシュタイン＝ウーレンの過程では、学習された統計が真の事後分布と学習済み事後分布のJSD（確率分布間のジャンセン＝シンゲルト距離）の観点で、専門家が設計した要約統計（平均、標準偏差、自己相関）と同等またはそれを上回る性能を示した。
• SNL+では真の事後分布と学習済み事後分布のJSDが0.009±0.002に低下し、専門家統計を用いたSNL+では0.004±0.001にまで低下した。これは高い事後分布忠実度を示している。
• 本手法は、i.i.d.、時系列、グラフ構造データを含む多様なデータタイプにおいて一貫した性能向上を示した。
• OU過程の実験では、SREおよびSNPEを上回る性能を示し、JSDが低く、安定性に優れた結果を得た。