[論文レビュー] Sequential Bayesian optimal experimental design via approximate dynamic programming

Xun Huan, Youssef Marzouk|arXiv (Cornell University)|Apr 28, 2016

Optimal Experimental Design Methods参考文献 46被引用数 38

ひとこと要約

本稿では、不確実性下でのフィードバック型実験設計を解消するため、近似動的プログラミング（ADP）を用いた逐次ベイズ最適実験設計（sOED）フレームワークを提案する。sOEDを動的計画問題として定式化し、回帰に基づく価値関数近似を用いた後向き帰納法を採用することで、非線形かつ高次元な設定において最適で適応的な実験選択が可能となる。非線形汚染物質源の逆問題において、バッチ設計やグリーディ設計よりも優れた性能を示した。

ABSTRACT

The design of multiple experiments is commonly undertaken via suboptimal strategies, such as batch (open-loop) design that omits feedback or greedy (myopic) design that does not account for future effects. This paper introduces new strategies for the optimal design of sequential experiments. First, we rigorously formulate the general sequential optimal experimental design (sOED) problem as a dynamic program. Batch and greedy designs are shown to result from special cases of this formulation. We then focus on sOED for parameter inference, adopting a Bayesian formulation with an information theoretic design objective. To make the problem tractable, we develop new numerical approaches for nonlinear design with continuous parameter, design, and observation spaces. We approximate the optimal policy by using backward induction with regression to construct and refine value function approximations in the dynamic program. The proposed algorithm iteratively generates trajectories via exploration and exploitation to improve approximation accuracy in frequently visited regions of the state space. Numerical results are verified against analytical solutions in a linear-Gaussian setting. Advantages over batch and greedy design are then demonstrated on a nonlinear source inversion problem where we seek an optimal policy for sequential sensing.

研究の動機と目的

• 将来的な実験効果を考慮した、フィードバック型の厳密な逐次最適実験設計（sOED）フレームワークの構築。バッチ設計やグリーディ設計の限界を克服することを目的とする。
• 連続的かつ非線形的、非ガウス的設定において、正確な動的計画法が計算的に非現実的となる高次元パrameter空間、設計空間、観測空間の問題に対する計算困難性の解消。
• 逐次的決定において、進化する事後分布と実験結果に基づいて適応するフィードバック制御方策を構築することで、最適な実験選択を可能とすること。
• 線形ガウス型および非線形源逆問題における数値的妥当性評価を通じて、本手法がバッチ設計およびグリーディ設計を上回ることの検証。
• 状態空間の頻繁に訪問される領域において価値関数近似を精緻化する適応的サンプリング戦略の開発。

提案手法

• モデルパrameterの事後分布を表す信念状態を用いて、有限 horizon 動的計画問題として sOED 問題を定式化する。
• 回帰を用いた後向き帰納法により価値関数を近似し、将来の報酬の期待値を線形構造で表現する。
• 現在の方策近似に基づいて状態測度を適応的に変更するハイブリッド探索・活用戦略を用いて、回帰のトレーニングポイントを生成する。
• 反復的方策更新を用いて、状態空間の高確率領域における価値関数近似を改善し、精度を高める。
• 逐次的意思決定における即時の情報量と将来の情報量のバランスを取るために、1ステップ先読み方策表現を採用する。
• 信念状態表現のための適応的離散化を実施するが、将来のスケーラビリティのためには輸送写像への移行を予定している。

実験結果

リサーチクエスチョン

• RQ1 フィードバックと将来の影響を考慮するには、どのように逐次実験設計を厳密に動的計画問題として定式化できるか？
• RQ2 高次元・非線形的・非ガウス的ベイズ実験設計問題において、最適方策を効果的に近似する数値的手法は何か？
• RQ3 提案されたADPベースのsOED手法は、情報量の観点から、バッチ設計およびグリーディ設計戦略に比べてどの程度優れているか？
• RQ4 頻繁に訪問される状態領域において価値関数近似を精緻化する適応的サンプリング戦略は、方策の精度と収束性を向上させるか？
• RQ5 連続的かつ非ガウス的設定において、信念状態の維持と更新に伴う計算的および表現的課題は何か？

主な発見

• 非線形汚染物質源逆問題において、提案されたsOED手法はバッチ設計およびグリーディ設計を上回る高い期待情報量を達成し、10回の実験における期待報酬は 0.71 ± 0.03 であった。
• 線形ガウス型のケースでは、手法の結果が解析解とよく一致しており、その正確性と妥当性が裏付けられた。
• 初期化に劣った探索設計測度（例：N(−2.5, 0.1)）を用いても、反復的更新により方策性能が著しく向上した。
• 状態測度を精緻化する適応的サンプリングの導入により、状態空間の高尤度領域における価値関数近似がより正確になった。
• 従来のバッチ設計やグリーディ設計では将来の実験影響を考慮できないが、本手法は複雑な非線形設定においてもその影響を適切に扱える柔軟性とスケーラビリティを示した。
• 本フレームワークは信念状態表現に依存しないため、高次元事後分布のための輸送写像などの高度な推論ツールとの統合が可能である。