[論文レビュー] Neural Density Estimation and Likelihood-free Inference

George Papamakarios|arXiv (Cornell University)|Oct 29, 2019

Gaussian Processes and Bayesian Inference参考文献 149被引用数 8

ひとこと要約

本学位論文は、最先端のニューラル密度推定のためのマスク付き自己回帰フロー（MAF）と、尤度フリー推論のための2つの新規手法—逐次ニューラル後方分布推定（SNPE-A）および逐次ニューラル尤度（SNL）—を導入する。尤度フリー推論を正規化フローを用いた密度推定問題として定式化することで、従来のABCに比べて数個のオーダー速く、精度と頑健性に優れた推論が可能となり、特に高次元設定において顕著である。

ABSTRACT

I consider two problems in machine learning and statistics: the problem of estimating the joint probability density of a collection of random variables, known as density estimation, and the problem of inferring model parameters when their likelihood is intractable, known as likelihood-free inference. The contribution of the thesis is a set of new methods for addressing these problems that are based on recent advances in neural networks and deep learning.

研究の動機と目的

• ヒストограмムやカーネル密度推定器といった従来手法がスケーリングに劣る高次元密度推定の課題に対処する。
• ドメイン固有の不変性や構造を組み込める、スケーラブルで柔軟な深層ニューラルネットワークに基づく密度推定器を開発する。
• 近似ベイズ計算（ABC）における尤度フリー推論の限界を克服する。ABCは高いシミュレーションコストと距離閾値（ε）依存性に起因する問題を抱える。
• 解析的尤度が得られないシミュレータベースモデルにおいて、正確な後方分布および尤度推定を可能にする。シミュレートされたデータに対して段階的に訓練されたニューラル密度モデルを用いる。
• 再帰的ABCに代わるフローに基づく密度推定と段階的訓練戦略を採用することで、シミュレーション効率と推論速度を向上させる。

提案手法

• バイジェクティブで自己回帰的なニューラルネットワークに基づく正規化フローであるマスク付き自己回帰フロー（MAF）を提案。シンプルなノイズを逆写像可能で微分可能な変換により、複雑なデータ分布に変換する。
• マスクを用いた複数のコピュラ層を積み重ねることで、高次元確率変数の同時密度をモデル化する。これにより自己回帰的構造を保証する。
• 逐次ニューラル後方分布推定（タイプA）を導入。シミュレートされたデータと段階的なパラメータ提案を用いて、ベイズ混合密度ネットワークを訓練し、モデルパラメータの後方分布を推定する。
• 逐次ニューラル尤度（SNL）を構築。正規化フローを用いて尤度関数を直接推定し、標準的な推論手法を用いて効率的な後方分布計算を可能にする。
• 各ラウンドで現在の後方分布または尤度推定値を用いて新たなシミュレーションパラメータを選択する段階的訓練手順を採用。これにより、サンプル効率が向上する。
• 二標本適合度検定などの診断手法を適用し、学習済み尤度または後方分布の品質を検証。これによりモデルの信頼性が向上する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローは、従来の密度推定器に比べてスケーラビリティに優れる高次元確率密度を効果的にモデル化できるか？
• RQ2 ニューラルネットワークを用いた密度推定問題として尤度フリー推論を再定式化することで、近似ベイズ計算（ABC）に比べて高速かつ高精度な推論が達成できるか？
• RQ3 フローに基づく後方分布推定（SNPE-A）は、従来のABC手法に比べてシミュレーション効率と精度においてどのように優れているか？
• RQ4 後方分布推定に比べて、SNLによる直接尤度推定は、後方分布が不適切（improper）になる場合を含め、より頑健で高精度であるとされるか？
• RQ5 ニューラル密度モデルはどの程度高次元のパラメータおよびデータにスケーリング可能か？また、アーキテクチャのインダクティブバイアスは、このような状況での一般化をどのように向上させるか？

主な発見

• マスク付き自己回帰フロー（MAF）は、発表当時、一般用途の密度推定において最先端のパフォーマンスを達成し、高次元データへのスケーラビリティに優れた性能を示した。
• 逐次ニューラル後方分布推定（SNPE-A）は、距離閾値εを必要とせず、再帰的ABC、MCMC-ABC、SMC-ABCに比べて数個のオーダー速い推論を実現した。
• 逐次ニューラル尤度（SNL）は、SNPE-AおよびSNPE-Bに比べてより高精度かつ頑健であることが判明。これは尤度推定の分散低減に起因する。
• SNLにより、二標本適合度検定のような統計的診断手法を用いて推定尤度の品質を検証可能となり、モデルの信頼性が向上した。
• SNLは、パラメータ選択のためのアクティブラーニング手法と同等以上のシミュレーション効率を示したが、ウォールクロックタイムでははるかに高速であった。
• 特に再帰的または交換可能なネットワークなどのドメイン固有の不変性を組み込むニューラルアーキテクチャを用いることで、ABCに比べて高次元設定でもより良好にスケーリングした。