[論文レビュー] acebayes: An R Package for Bayesian Optimal Design of Experiments via Approximate Coordinate Exchange

Antony M. Overstall, David C. Woods+1 more|arXiv (Cornell University)|May 23, 2017

Advanced Multi-Objective Optimization Algorithms被引用数 10

ひとこと要約

この論文は、近似的座標交換（ACE）アルゴリズムを用いて、複雑で高次元な問題に対するベイズ最適実験設計を可能にするRパッケージacebayesを紹介する。ガウス過程エミュレーションと逐次的一次元最適化を組み合わせることで、解析的に扱いにくい期待効用積分を効率的に近似し、従来の方法では不可能だったより大きなモデルやデータセットの設計が可能になる。これには一般化線形モデルや非線形モデルを含み、パラメータ推定、モデル選択、予測という目的が含まれる。

ABSTRACT

We describe the R package acebayes and demonstrate its use to find Bayesian optimal experimental designs. A decision-theoretic approach is adopted, with the optimal design maximising an expected utility. Finding Bayesian optimal designs for realistic problems is challenging, as the expected utility is typically intractable and the design space may be high-dimensional. The package implements the approximate coordinate exchange algorithm to optimise (an approximation to) the expected utility via a sequence of conditional one-dimensional optimisation steps. At each step, a Gaussian process regression model is used to approximate, and subsequently optimise, the expected utility as the function of a single design coordinate (the value taken by one controllable variable for one run of the experiment). In addition to functions for bespoke design problems with user-defined utility functions, acebayes provides functions tailored to finding designs for common generalised linear and nonlinear models. The package provides a step-change in the complexity of problems that can be addressed, enabling designs to be found for much larger numbers of variables and runs than previously possible. We provide tutorials on the application of the methodology for four illustrative examples of varying complexity where designs are found for the goals of parameter estimation, model selection and prediction. These examples demonstrate previously unseen functionality of acebayes.

研究の動機と目的

• 期待効用積分が解析的に扱いにくい高次元実験設定におけるベイズ最適設計の計算に取り組むこと。
• 現在の手法を超えて実現可能な実験設計問題の範囲を拡大するスケーラブルな計算フレームワークを開発すること。
• 一般化線形モデルや非線形モデルなどの一般的なモデル向けに特化した関数と、カスタム効用関数をサポートする使いやすいRパッケージを提供すること。
• 不確実性下でのパラメータ推定、モデル選択、予測といった複雑な目的に対する効率的な設計最適化を可能にすること。
• 実世界の例（高次元および尤度が閉形式で得られないモデルを含む）を用いて、本手法の能力を示すこと。

提案手法

• ACEアルゴリズムは、設計座標について逐次的一次元最適化を実行し、他の変数を固定したまま1つの変数を更新する。
• 各ステップで、候補点の空間を埋める設計を用いて、ガウス過程回帰モデルが期待効用を1つの設計座標の関数としてエミュレートする。
• アルゴリズムはガウス過程エミュレータの予測平均を用いて、現在の座標の最適値を特定し、設計を段階的に改善する。
• 確率的近似（例：モンテカルロ）では、新たな設計の受け入れはベイズ仮説検定に基づく確率的判断である。決定的近似（例：数値積分）では、効用の向上に基づいて受け入れが決定される。
• フェーズIでは複数サイクルにわたり座標ごとの更新が行われる。フェーズIIでは、局所最適解からの脱出を図るために、設計ランの追加・削除による探索の強化が行われる。
• パッケージはユーザー定義の効用関数と、一般に用いられる統計モデル（例：GLM、非線形モデル）向けに特化した関数（例：paceglm、pacenlm）の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 期待効用積分の完全な計算が不可能な高次元設計空間において、ACEアルゴリズムはベイズ最適設計を効率的に最適化できるか？
• RQ2 ガウス過程エミュレーションの使用は、ベイズ設計最適化のスケーラビリティと正確性をどのように向上させるか？
• RQ3 acebayesは、尤度が閉形式で得られない非線形モデルや常微分方程式モデルといった複雑なモデルをどの程度効果的に処理できるか？
• RQ4 パラメータ推定、モデル選択、予測という複数の目的を、統一的な意思決定理論枠組み内で処理できるか？
• RQ5 大規模問題において、acebayesの設計品質と計算効率は、既存手法と比較してどの程度優れているか？

主な発見

• acebayesパッケージは、従来の方法では不可能だった変数数や実験回数がはるかに多い実験問題に対しても、ベイズ最適設計を可能にし、実現可能な設計問題の範囲を拡大した。
• ガウス過程エミュレーションを用いた近似的座標交換アルゴリズムは、高次元ベイズ設計最適化に対してスケーラブルかつ効率的な解決策を提供し、計算負荷を低減した。
• 本手法は、パラメータ推定、モデル選択、予測を含む4つの具体的な例題について、従来では実現不可能だった機能を示した。
• パッケージは、常微分方程式モデルや尤度が閉形式で得られないモデルといった複雑なモデルを処理できることを、医薬品合成や動的システムの応用例から示した。
• アルゴリズムはヒューリスティックであり、複数回の再起動による恩恵を受ける。パッケージには並列実行を支援するツール（例：'pace'関数）が含まれ、収束性の向上が図られている。
• 本パッケージは、高次元設計や合成最適化といった実世界の応用でも使用されており、合成例を超えた実用的価値が確認されている。