[論文レビュー] Bayesian Design of Experiments Using Approximate Coordinate Exchange

Antony M. Overstall, David C. Woods|arXiv (Cornell University)|Jan 1, 2015

Optimal Experimental Design Methods被引用数 5

ひとこと要約

本稿では、高次元の期待効用関数を近似するためにガウス過程エミュレータを用いることで、複雑な非線形モデルに対する計算的に効率的なベイズ実験計画法を可能にする近似座標交換（ACE）アルゴリズムを提案する。この手法は漸近的近似を用いないまま高次元空間において最適設計を達成でき、従来は取り扱いが困難であった薬物動態モデルや離散混合モデルの設計を可能にする。

ABSTRACT

The construction of decision-theoretic Bayesian designs for realistically-complex nonlinear models is computationally challenging, as it requires the optimization of analytically intractable expected utility functions over high-dimensional design spaces. We provide the most general solution to date for this problem through a novel approximate coordinate exchange algorithm. This methodology uses a Gaussian process emulator to approximate the expected utility as a function of a single design coordinate in a series of conditional optimization steps. It has flexibility to address problems for any choice of utility function and for a wide range of statistical models with different numbers of variables, numbers of runs and randomization restrictions. In contrast to existing approaches to Bayesian design, the method can find multi-variable designs in large numbers of runs without resorting to asymptotic approximations to the posterior distribution or expected utility. The methodology is demonstrated on a variety of challenging examples of practical importance, including design for pharmacokinetic models and design for mixed models with discrete data. For many of these models, Bayesian designs are not currently available. Comparisons are made to results from the literature, and to designs obtained from asymptotic approximations.

研究の動機と目的

• 高次元の設計空間を有する現実的で複雑な非線形モデルに対して、意思決定理論的ベイズ実験計画法を構築する際の計算的課題に対処すること。
• 多変数設計における期待効用最適化における次元の呪いを克服すること。これは、既存のシミュレーションベースの手法が制限を受ける要因である。
• 事後分布や効用関数の漸近的近似に依存しない、スケーラブルで汎用的なベイズ設計手法を構築すること。
• 従来の完全ベイズ意思決定理論では取り扱いが困難であったモデル、例えば薬物動態モデルや離散混合モデルに対して最適設計を構築できること。
• 幅広い統計的モデル、効用関数、設計制約に適用可能な柔軟なフレームワークを提供すること。

提案手法

• ACEアルゴリズムは、他のすべての座標を固定した条件下で、1つの設計座標に関する期待効用を1次元のガウス過程エミュレータで逐次近似する。
• 連続版の座標交換アルゴリズムを用いて、順次各設計座標を最適化することで、高次元問題を低次元最適化の連鎖に還元する。
• 期待効用は、モデルパラメータの事前分布からのモンテカルロサンプルとシミュレートされたデータを用いたシミュレーションにより近似され、計算効率を高めるために反対称変数などの分散低減技術が検討される。
• すべての設計座標のうち1つを除いて固定する条件付き近似により、高次元エミュレーションを完全に避けることで、次元の呪いを緩和する。
• アルゴリズムはRパッケージとして実装されており、任意の数の変数、実験回数、ランダム化制約をサポートする。
• 確率的シミュレーションとエミュレータを介した決定論的最適化を組み合わせることで、尤度関数が高価であっても近似的に最適な設計に収束可能である。

実験結果

リサーチクエスチョン

• RQ1 漸近的近似に依存せずに、高次元で非線形なモデルに対するスケーラブルなベイズ設計手法を開発できるか？
• RQ2 高次元の設計空間において、解析的に扱いが困難な期待効用関数の最適化に伴う計算負荷をどのように低減できるか？
• RQ3 1次元の条件付きエミュレータは、複雑なモデルにおける多変数設計の最適化を効果的に導けるか？
• RQ4 実世界の問題において、ACEアルゴリズムは漸近的近似や既存のシミュレーションベース手法と比較してどの程度の性能を示すか？
• RQ5 微分方程式の数値解法によって定義されるような尤度関数が取り扱いが困難なモデルに対しても、ACEフレームワークを拡張可能か？

主な発見

• ACEアルゴリズムは、LD50推定を伴う薬物動態モデルに対して、ベイズ最適設計を的確に特定し、LD50パラメータの事後分散を $2.10 \times 10^{-5}$ にまで低減した。
• n_0 = 1 および n_0 = 2 の場合、ACEアルゴリズムは負の期待事後分散を最小化する設計を選択し、一様なランダム設計を上回る性能を示した。
• 本手法は、例えば1.77で4回の反復を集中させるような濃度の高い設計を特定し、期待分散を顕著に低減することで、事前分布の不確実性に対して強い耐性を示した。
• 離散データや複雑なランダム化制約を有するモデルに対しても、漸近的近似を一切必要とせず収束性と最適性能を達成した。
• より小さい問題では既存手法を上回るか同等の性能を示した一方で、離散応答を伴う混合モデルの多変数設計など、従来は取り扱いが不可能だった問題を可能にした。
• パイロットランと構造的解析の結果、設計座標間の依存性を低減することで再パラメータ化が収束性をさらに向上させられると示唆された。