[論文レビュー] Likelihood-free Simulation-based Optimal Design

Markus Hainy, Werner G. Müller+1 more|arXiv (Cornell University)|May 18, 2013

Probabilistic and Robust Engineering Design参考文献 6被引用数 8

ひとこと要約

本稿では、尤度関数が解析的に求められないがモデルからのシミュレーションは可能な実験設計問題を解くため、近似ベイズ計算（ABC）とマルコフ連鎖モンテカルロ（MCMC）手法を統合した、尤度フリーなシミュレーションベースの最適設計フレームワークを提案する。ABCとミュラーのMCMCに基づく設計アルゴリズムを組み合わせることで、明示的な尤度関数が不要な複雑なモデルに対しても最適設計が可能となり、1次元および2次元の設計問題において、正確な収束を示す優れた性能を発揮する。

ABSTRACT

Simulation-based optimal design techniques are a convenient tool for solving a particular class of optimal design problems. The goal is to find the optimal configuration of factor settings with respect to an expected utility criterion. This criterion depends on the specified probability model for the data and on the assumed prior distribution for the model parameters. We develop new simulation-based optimal design methods which incorporate likelihood-free approaches and utilize them in novel applications. Most simulation-based design strategies solve the intractable expected utility integral at a specific design point by using Monte Carlo simulations from the probability model. Optimizing the criterion over the design points is carried out in a separate step. Müller (1999) introduces an MCMC algorithm which simultaneously addresses the simulation as well as the optimization problem. In principle, the optimal design can be found by detecting the utility mode of the sampled design points. Several improvements have been suggested to facilitate this task for multidimensional design problems (see e.g. Amzal et al. 2006). We aim to extend this simulation-based design methodology to design problems where the likelihood of the probability model is of an unknown analytical form but it is possible to simulate from the probability model. We further assume that prior observations are available. In such a setting it is seems natural to employ approximate Bayesian computation (ABC) techniques in order to be able to simulate from the conditional probability model. We provide a thorough review of adjacent literature and we investigate the benefits and the limitations of our design methodology for a particular paradigmatic example.

研究の動機と目的

• 尤度関数が解析的に不正確なが、データのシミュレーションが可能な実験設計問題に対処すること。
• 近似ベイズ計算（ABC）を用いて尤度フリーな設定にまで拡張されたシミュレーションベースの最適設計手法を拡張すること。
• まずABCを用いて事後分布を近似し、次に設計空間における期待効用を最適化する2段階のMCMCベースのアプローチを開発すること。
• ABCとMCMCに基づく最適化を統合することで、適応的かつ逐次的設計の応用を可能にすること。
• 既知の最適設計を持つ代表的例題を用いて、本手法の性能を評価し、収束性と計算効率を検証すること。

提案手法

• 尤度が不正確な場合に、観測データのもとでのパラメータの事後分布をABCを用いてシミュレートする。
• 2段階のMCMCアルゴリズムを適用：まずABCを用いて重み付き事後分布サンプルを生成し、次に設計点における期待効用を最適化する。
• 設計パラメータに一様な提案分布を採用することで、高効用関数の累乗であっても、高効用領域の探索を保証する。
• サンプリング効率とモード検出を向上させるために、パラメータ $ J $ を用いたパワー変換された期待効用関数を採用する。
• MCMCの収束性と混合状態を評価するために、カーネル密度推定および受容率/IAT診断を用いる。
• 多変量ABCカーネルと許容誤差 $ \epsilon $ を用いて、多次元設計へのフレームワークの拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 ABC-MCMC手法をシミュレーションベースの最適設計と効果的に組み合わせることで、不正確な尤度に対処できるか？
• RQ2 効用関数の累乗 $ J $ の選択が、設計空間におけるMCMCサンプラーの収束性と正確性に与える影響は何か？
• RQ3 事後分布サンプルサイズとマルコフ連鎖長さが、最適設計推定の品質に与える影響は何か？
• RQ4 提案された2段階のABC-MCMCフレームワークを、既知の最適解を持つ多次元設計問題に拡張可能か？
• RQ5 $ J $ の増加に伴い、受容率と統合自己相関時間（IAT）はどのように変化するか？また、これによりサンプリング効率にどのような含意が生じるか？

主な発見

• 1次元の例題において、本手法は真の最適設計 $ d^* = 0.998 $ に近い領域にMCMCサンプルが集中することを確認した。
• J = 200 の場合、受容率は 0.0078 に低下したが、依然として最適領域に収束しており、低受容率下でもロバストであることが示された。
• 2次元設計では、MCMCサンプラーが2つの最適設計 $ \mathbf{d} = (0,1)^T $ および $ \mathbf{d} = (1,0)^T $ を正しく特定し、これらの点付近に高頻度のサンプルが集中していた。
• 実行時間は $ J $ の増加に伴い増加するが、$ J = 200 $ かつ連鎖長さ $ 10^5 $ の場合でも、2分未満で第2段階が完了し、計算上の実行可能性を示した。
• 事後分布サンプルサイズが10,000および20,000の場合、ほぼ同一の結果が得られ、あるサンプルサイズを超えると利得が減少することが示唆された。
• ABCの $ \epsilon $-許容誤差でさえも、事後分布および最適設計の正確な近似を達成しており、設計最適化の文脈においてABC近似誤差に対してロバストであることが確認された。