[論文レビュー] Dynamic Likelihood-free Inference via Ratio Estimation (DIRE)

Traiko Dinev, Michael U. Gutmann|arXiv (Cornell University)|Oct 23, 2018

Markov Chains and Monte Carlo Methods参考文献 32被引用数 18

ひとこと要約

本稿では、尤度フリー推論のための比推定法（LFIRE）において、時間系列モデルにおける事後分布推定の精度を著しく向上させるために、畳み込みニューラルネットワーク（DireNet）を用いて要約統計量を自動で学習する手法を提案する。この手法は、ニューラルネットワークを用いて生データから直接モデルパラメータを予測する学習を行い、得られた要約統計量は、複数の力学的モデルにおいて、手作業で選定した統計量やヒューリスティックな統計量を上回る性能を発揮する。

ABSTRACT

Parametric statistical models that are implicitly defined in terms of a stochastic data generating process are used in a wide range of scientific disciplines because they enable accurate modeling. However, learning the parameters from observed data is generally very difficult because their likelihood function is typically intractable. Likelihood-free Bayesian inference methods have been proposed which include the frameworks of approximate Bayesian computation (ABC), synthetic likelihood, and its recent generalization that performs likelihood-free inference by ratio estimation (LFIRE). A major difficulty in all these methods is choosing summary statistics that reduce the dimensionality of the data to facilitate inference. While several methods for choosing summary statistics have been proposed for ABC, the literature for synthetic likelihood and LFIRE is very thin to date. We here address this gap in the literature, focusing on the important special case of time-series models. We show that convolutional neural networks trained to predict the input parameters from the data provide suitable summary statistics for LFIRE. On a wide range of time-series models, a single neural network architecture produced equally or more accurate posteriors than alternative methods.

研究の動機と目的

• 合成尤度およびLFIREフレームワークにおける要約統計量の選択・学習のための体系的でない方法の欠如に対処すること。
• 時間系列モデルにおける尤度フリーBayesian推論に有効な、自動的かつデータ駆動の要約統計量を学習するためのアプローチを開発すること。
• 生データからパラメータを予測するように訓練されたニューラルネットワークが、手動またはヒューリスティックに選ばれた統計量よりも、LFIREにおいて優れた要約統計量を生成することを実証すること。
• 尤度が閉形式で得られない時間系列モデルの多様な例に対して本手法を検証し、一貫した性能向上を示すこと。

提案手法

• 生時系列データから直接モデルパラメータを予測する目的で、教師あり学習の目的関数を用いて畳み込みニューラルネットワーク（DireNet）を訓練する。
• 訓練済みネットワークの最終層を、LFIRE用の低次元要約統計量として使用し、手作業で設計された統計量に置き換える。
• LFIREを用いて、ニューラルネットワークから得られた要約統計量を用いて尤度比をモデル化し、事後分布を推定する。
• 時系列データの順序的構造を保持するために、時間的畳み込み（temporal convolutions）を活用し、有効な特徴抽出を可能にする。
• 1つのモデルに対してネットワークを1度だけ訓練し、複数の推論タスクに再利用することで、アモアタイズド推論（amortized inference）を実現する。
• LFIREが合成尤度を一般化していることを利用し、本手法が両フレームワークに適用可能であることを活用する。

実験結果

リサーチクエスチョン

• RQ1 生データからパラメータを予測するように訓練された深層ニューラルネットワークが、時間系列モデルにおけるLFIREの要約統計量として有効に機能するか？
• RQ2 ニューラルネットワークから得られた要約統計量の性能は、LFIREにおける手動選択の要約統計量と比べてどの程度優れているか？
• RQ3 1つの汎用的なニューラルネットワークアーキテクチャが、尤度が閉形式で得られない多様な時間系列モデルに一般化可能か？
• RQ4 学習された要約統計量は、既存の手法と比較して、どの程度事後分布推定の精度が向上するか？

主な発見

• Lorenzモデルにおいて、DireNetは手作業で選択された要約統計量を上回り、全テストモデルの中で最大の性能向上を達成した。
• Lotka-VolterraモデルやRickerモデルを含む、全テストモデルにおいて、代替手法と同等またはそれ以上の精度の事後分布推定を達成した。
• 畳み込みニューラルネットワークは、推論に必要な本質的な統計的特徴を捉えた、意味のある低次元表現を学習していた。
• 本手法により、1回のネットワーク訓練で複数の事後分布推定タスクをサポートするアモアタイズド推論が可能になった。
• 多様な力学的系においてもロバストな性能を示したため、テストされたモデルを超えて広く応用可能である可能性が示された。