[論文レビュー] Robust Expected Information Gain for Optimal Bayesian Experimental Design Using Ambiguity Sets

Jinwoo Go, Tobin Isaac|arXiv (Cornell University)|May 20, 2022

Optimal Experimental Design Methods被引用数 5

ひとこと要約

本稿では、元の事前分布からKLダイバージェンスで近いambiguousな事前分布の集合（ambiguity set）上での期待情報量を最小化することで、ベイジアン実験設計における期待情報量（EIG）推定の安定性を向上させる、ロバスト期待情報量ゲイン（REIG）を提案する。REIGはサンプルのlog-sum-exp後処理を用いることでEIG推定を安定化させ、事前分布の誤設定やサンプリングノイズに対してより頑健になる。数値結果では、VNMC、ACE、MINEといった推定器のバイアスを是正する一方で、最適な実験設計選択を維持していることが示された。

ABSTRACT

The ranking of experiments by expected information gain (EIG) in Bayesian experimental design is sensitive to changes in the model's prior distribution, and the approximation of EIG yielded by sampling will have errors similar to the use of a perturbed prior. We define and analyze \emph{robust expected information gain} (REIG), a modification of the objective in EIG maximization by minimizing an affine relaxation of EIG over an ambiguity set of distributions that are close to the original prior in KL-divergence. We show that, when combined with a sampling-based approach to estimating EIG, REIG corresponds to a `log-sum-exp' stabilization of the samples used to estimate EIG, meaning that it can be efficiently implemented in practice. Numerical tests combining REIG with variational nested Monte Carlo (VNMC), adaptive contrastive estimation (ACE) and mutual information neural estimation (MINE) suggest that in practice REIG also compensates for the variability of under-sampled estimators.

研究の動機と目的

• ベイジアン実験設計における期待情報量（EIG）の事前分布の誤設定に対する感受性を軽減すること。
• 高次元または複雑なモデルにおいて、サンプリングに基づく近似が誤差や不安定性を生じやすい状況でのEIG推定の信頼性を向上させること。
• 事前分布の不確実性下でも実験設計の最適性を維持できる、実用的で計算効率の良い手法を開発すること。
• REIGがVNMC、ACE、MINEといったEIG推定器のバイアスを低減し、サンプリングノイズ下でも推定の正確性と収束性を向上させることを示すこと。

提案手法

• 基準事前分布p(θ)からKLダイバージェンスでε以内の事前分布の集合（ambiguous set）を定義し、妥当な事前分布の摂動を表現する。
• このambiguous set上でのミニマックス期待情報量ゲインとしてロバスト期待情報量ゲイン（REIG）を定式化し、最悪の事前分布摂動に対しても頑健性を確保する。
• REIG推定が標準的なEIG推定器からのサンプルに対してlog-sum-exp変換を施すことで簡略化され、効率的な後処理が可能になることを示す。
• 凸解析を用いて、REIG推定がサンプル化されたEIG値上で1次元の凸最適化問題を解くことに帰着されることを導出。これにより、既存のサンプリングベースのEIG手法と互換性を持つ。
• Variational Nested Monte Carlo（VNMC）、Adaptive Contrastive Estimation（ACE）、Mutual Information Neural Estimation（MINE）の3つの現代的EIG推定器とREIGを統合する。
• ガウスモデルと薬動学的モデルを含むベンチマーク問題にこの手法を適用し、頑健性と収束性を評価する。

実験結果

リサーチクエスチョン

• RQ1 実際の応用において、事前分布の誤設定はEIGに基づく実験設計の信頼性にどのように影響を与えるか？
• RQ2 事前分布の微小な摂動に対しても安定性を保つような、EIGのロバストな定式化は構築可能か？
• RQ3 既存のサンプリングベースのEIG推定器のコア構造を変更せずに、REIGを効率的に実装できるか？
• RQ4 REIGは、サンプリングノイズ下でもVNMC、ACE、MINEのようなEIG推定器の正確性と収束性を向上させられるか？
• RQ5 ambiguous setの半径εが、実世界の実験設計タスクにおけるREIGの頑健性とパフォーマンスに与える影響は何か？

主な発見

• REIGは、サンプル化されたEIG値に対してlog-sum-exp変換を適用することでEIG推定を安定化させ、不足したサンプルによるバイアスと分散を効果的に低減する。
• ambiguous setの半径ε = 0.1の場合、ACE推定器のEIG下限値が真のEIGを超えており、VNMCの上限値が真のEIGを下回っている。これはREIGが推定器のバイアスを是正していることを示している。
• 薬動学的モデルにおいて、ε = 0.1でREIGを適用したMINEは真のEIG値に近い推定値を得たが、標準的なMINEは著しく低めに推定していた。
• ガウスモデルと薬動学的ベンチマークの両方で、標準的なEIG推定器がバイアスを持つ場合でも、REIGは最適な実験設計選択を維持している。
• 計算効率が高く、既存のEIGサンプルに対して1次元の凸最適化ステップを追加するだけで実装可能であり、VNMC、ACE、MINEと即座に統合可能（plug-and-play）。
• 結果から、REIGを上界・下界推定器（ACEやVNMC）と組み合わせることで、後から最適なambiguous set半径εを推定可能である可能性が示唆された。