[論文レビュー] An approximate KLD based experimental design for models with intractable likelihoods

Ziqiao Ao, Jinglai Li|arXiv (Cornell University)|Apr 1, 2020

Probabilistic and Robust Engineering Design参考文献 23被引用数 6

ひとこと要約

本稿では、尤度が計算不能なモデルにおけるベイジアン実験設計のための下界Kullback-Leibler発散（LB-KLD）効用を提案する。効用をデータ空間エントロピーの和として表現することで、尤度評価を伴わずエントロピー推定により効率的な評価が可能となり、非ガウス型事後分布の状況では事後分散に基づく手法を上回る性能を示す。

ABSTRACT

Data collection is a critical step in statistical inference and data science, and the goal of statistical experimental design (ED) is to find the data collection setup that can provide most information for the inference. In this work we consider a special type of ED problems where the likelihoods are not available in a closed form. In this case, the popular information-theoretic Kullback-Leibler divergence (KLD) based design criterion can not be used directly, as it requires to evaluate the likelihood function. To address the issue, we derive a new utility function, which is a lower bound of the original KLD utility. This lower bound is expressed in terms of the summation of two or more entropies in the data space, and thus can be evaluated efficiently via entropy estimation methods. We provide several numerical examples to demonstrate the performance of the proposed method.

研究の動機と目的

• 尤度が閉形式で評価できないベイジアン実験設計（BED）問題に対処すること。
• 尤度評価を必要とせず、事前分布と事後分布のKullback-Leibler発散（KLD）を近似する効用関数を開発すること。
• 事後分布がガウス型から著しく逸脱する状況においても、効率的な実験設計を可能とし、事後分散に基づく手法の限界を克服すること。
• KLDに基づくEDの数値的扱いやすさを高める代替手法として、尤度計算を避けてエントロピー推定を用いること。

提案手法

• 異なるパラメータ設定下でのデータ生成分布のエントロピーにのみ依存するKLD効用関数の下界を導出する。
• データ空間におけるエントロピーの和として下界を表現し、非パラメトリックなエントロピー推定技術を用いて推定可能である。
• パラメータをクラスタにグループ化するための事前分割戦略を適用し、各パーティションに対して局所的なエントロピー推定を可能にする。
• モンテカルロサンプルを用いて事前分布上の期待効用を推定し、直接的な尤度評価の代わりにエントロピーの近似を用いる。
• KLDに基づく効用との比較のためのネストドモンテカルロスキームを適用するが、LB-KLD手法は尤度クエリを完全に回避する。
• 事前予測サンプルのクラスタリングに基づく事前分割ステップを用いて、エントロピー推定の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 計算不能な尤度を有するモデルにおいて、直接的な尤度評価を回避しつつ、KLD効用の下界近似を構築できるか？
• RQ2 事後分布が非ガウス型である場合に、提案手法LB-KLDは既存の尤度非依存ED手法に比べてどの程度有効か？
• RQ3 事前分割戦略およびエントロピー推定の精度が、LB-KLD効用の性能に与える影響は何か？
• RQ4 事後分布がガウス型から著しく逸脱しても、LB-KLD手法は一貫して最適な実験設計を特定できるか？

主な発見

• 提案手法LB-KLDは、尤度評価を一切必要とせず、計算不能な尤度を有するモデルにおいてもKLDに基づく効用を効果的に近似可能である。
• 非ガウス型事後分布の状況では、D-事後精度手法を上回る性能を示し、特にRickerモデルおよびアピド種群動態モデルの例で顕著である。
• 数値結果から、LB-KLD手法は代替の尤度非依存手法よりも高い情報量の獲得を実現する最適な設計パラメータを特定している。
• 数学的例、Rickerモデル、アピド種群動態モデルなど多様なモデルにおいて、100回の独立実験において一貫した性能を示し、ロバスト性を確認した。
• 事前分割によるエントロピー推定により、わずか3×10⁴回のモデルシミュレーションで正確な効用評価が可能となり、KLDベンチマークのネストドモンテカルロ法と比較して著しく計算コストを削減した。
• 事後分布がガウス型から著しく逸脱する状況でも、事後分散に基づく手法が失敗する中で、本手法は有効に機能することが示された。