[論文レビュー] A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC

Fernando Llorente, Luca Martino+2 more|arXiv (Cornell University)|Aug 1, 2021

Probabilistic and Robust Engineering Design参考文献 79被引用数 9

ひとこと要約

本稿は、強化学習や尤度フリーな設定におけるベイズ推論において、ノイジーでコストが高く、あるいは扱いにくい事後分布を扱うために、補助モデル（surrogate models）を用いたモンテカルロ法を調査する。高価またはノイジーな密度評価を回帰に基づく補助モデルに置き換えることで、サンプリング効率と推定精度が向上し、数値結果ではDA-PM-MHおよびMH-S手法が、標準的なPM-MHよりも周辺密度推定およびMMSE推定で優れていることが示された。

ABSTRACT

This survey gives an overview of Monte Carlo methodologies using surrogate models, for dealing with densities which are intractable, costly, and/or noisy. This type of problem can be found in numerous real-world scenarios, including stochastic optimization and reinforcement learning, where each evaluation of a density function may incur some computationally-expensive or even physical (real-world activity) cost, likely to give different results each time. The surrogate model does not incur this cost, but there are important trade-offs and considerations involved in the choice and design of such methodologies. We classify the different methodologies into three main classes and describe specific instances of algorithms under a unified notation. A modular scheme which encompasses the considered methods is also presented. A range of application scenarios is discussed, with special attention to the likelihood-free setting and reinforcement learning. Several numerical comparisons are also provided.

研究の動機と目的

• ノイジーで高価、あるいは取り扱いにくい事後分布に対処するための補助モデルを用いたモンテカルロ法を統合的に提示すること。
• MCMCおよび重要度サンプリングにおける補助モデルの使用に基づき、既存の手法を3つの主要なグループに分類すること。
• 実世界のシナリオ、特に強化学習および尤度フリー推論（ABC）における補助モデルベースのアルゴリズムの性能を評価すること。
• 補助モデルがノイジーな評価を平滑化する適応的で非パラメトリックな提案分布として機能することで、サンプリング効率が向上することを示すこと。
• 補助モデル設計におけるトレードオフを強調し、特に初期反復において性能を劣化させる可能性がある不適切な補助モデルの構築がもたらす影響を明らかにすること。

提案手法

• 本稿は、MCMCおよびISアルゴリズムの共通表記を用いて、補助モデルベースのモンテカルロ法を統合するモジュラーなフレームワークを導入する。
• 手法を3つのファミリーに分類する：補助モデルを支援するMCMC（例：MH-S）、補助モデルを支援するIS、および補助モデルに基づく疑似周辺MCMC（例：DA-PM-MH）。
• 補助モデルは回帰（例：最近傍補間）を用いて、取り扱いにくいまたはノイジーなターゲット密度を近似することで、高価な評価への依存度を低減する。
• 補助モデルは新たな状態の提案や重要度重みの計算に使用され、疑似周辺手法では正確性を保つために補正ステップが実装される。
• 数値実験ではK=100の最近傍補助モデルが用いられ、サンプリングされた点とノイジーな評価を用いて反復的に補助モデルを更新する。
• フレームワークは静的バッチ設定と逐次的設定の両方をサポートし、強化学習およびABCへの応用拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 補助モデルを、ノイジーで高価な事後分布を扱うモンテカルロアルゴリズムに体系的かつ一貫して統合する方法は何か？
• RQ2 補助モデルを支援するMCMC、補助モデルを支援するIS、および補助モデルに基づく疑似周辺MCMCの間の主な違いとトレードオフは何か？
• RQ3 補助モデルの使用が、高コストまたはノイジーな推論設定において、どのようにサンプリング効率と推定精度を向上させるか？
• RQ4 特に初期反復において、不適切な補助モデルの構築がもたらす性能への影響は何か？
• RQ5 補助モデルベースの手法が、強化学習および尤度フリー推論において、標準的なモンテカルロ手法をどの程度上回るか？

主な発見

• ダブルポールバランス問題において、DA-PM-MHは標準的なPM-MHおよびMH-S手法よりも周辺密度近似がわずかに優れている。
• DA-PM-MHによるMMSE推定値（θ₁ = -5.7748, θ₆ = 5.2058）は、T=10⁶のPM-MHによる真値に、MH-Sおよび標準的なPM-MHよりも近い。
• 補助モデルは、空間的およびノイジーな評価情報を利用することで、探索性を向上させる適応的で非パラメトリックな提案分布として機能する。
• 特に初期反復において、高確率領域で低値をとる不適切に構築された補助モデルは性能を劣化させる可能性がある。
• 疑似周辺手法における補正ステップは、ロバスト性を高め、単純な補助モデルアプローチよりも信頼性が高くなる。
• 数値結果により、補助モデルベースの手法が、正確な評価が不可能な場合を除き、高コストまたはノイジーな推論において著しく効率が向上することが確認された。