[論文レビュー] Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning

Wanggang Shen, Xun Huan|arXiv (Cornell University)|Oct 28, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 96被引用数 8

ひとこと要約

本稿では、ポリシー勾配強化学習を用いて非線形モデルのためのベイジアン逐次最適実験設計（sOED）フレームワークを提案する。sOEDを情報理論的利得に基づく有限horizonの部分的に観測可能なマルコフ意思決定過程（POMDP）として定式化し、新たなポリシー勾配式を導出し、深層学習を用いたアドバイザー・クリティック手法により、適応的かつ先読みを考慮した設計方針を学習する。この手法は、汚染源同定問題において、バッチ設計およびグリーディ設計を凌駕する性能を示す。

ABSTRACT

We present a mathematical framework and computational methods to optimally design a finite number of sequential experiments. We formulate this sequential optimal experimental design (sOED) problem as a finite-horizon partially observable Markov decision process (POMDP) in a Bayesian setting and with information-theoretic utilities. It is built to accommodate continuous random variables, general non-Gaussian posteriors, and expensive nonlinear forward models. sOED then seeks an optimal design policy that incorporates elements of both feedback and lookahead, generalizing the suboptimal batch and greedy designs. We solve for the sOED policy numerically via policy gradient (PG) methods from reinforcement learning, and derive and prove the PG expression for sOED. Adopting an actor-critic approach, we parameterize the policy and value functions using deep neural networks and improve them using gradient estimates produced from simulated episodes of designs and observations. The overall PG-sOED method is validated on a linear-Gaussian benchmark, and its advantages over batch and greedy designs are demonstrated through a contaminant source inversion problem in a convection-diffusion field.

研究の動機と目的

• 高次元かつ非ガウス型の事後分布を有する非線形モデルおよび高コストなフォワードモデルを対象とした、計算的に効率的で適応的な実験設計手法の開発。
• バッチ設計およびグリーディ設計の限界を克服するため、一貫した逐次設計フレームワークを通じてフィードバックと先読みの両方を統合すること。
• 連続的な状態、行動、観測を有する有限horizonのPOMDPとして逐次OEDを定式化し、不確実性下での最適方針学習を可能にすること。
• 強化学習によるエンド・トゥ・エンドの訓練を可能にするため、sOEDのためのポリシー勾配式を導出し、検証すること。
• 複雑で現実的な逆問題において、従来のバッチ設計およびグリーディ設計と比較して優れた性能を示す本手法の有効性を実証すること。

提案手法

• 情報理論的報酬（期待されるKLダイバージェンスに基づく）を用いて、有限horizonの部分的に観測可能なマルコフ意思決定過程（POMDP）として逐次OEDを定式化する。
• 信念状態を介した再帰的ベルマン方程式と連鎖則の伝播を用いて、sOEDの閉形式ポリシー勾配式を導出する。
• ポリシー関数と価値関数を深層ニューラルネットワークでパラメータ化した、アドバイザー・クリティック強化学習フレームワークを採用する。
• シミュレートされたエピソードを用いて勾配推定値を生成し、ポリシーおよび価値関数の更新を可能にすることで、サンプル効率の高い最適化を実現する。
• 各ステップでベイジアン推論を統合し、未知パラメータの事後分布を維持する信念状態を更新する。
• 妥当性確認のため、線形ガウス型のベンチマークおよび非線形な対流拡散汚染源同定問題の両方へ本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ポリシー勾配強化学習アプローチは、複雑で非ガウス型の事後分布を有する非線形モデルの最適逐次実験設計を、効果的に学習できるか？
• RQ2 フィードバックと先読みを組み合わせた本手法のsOEDは、情報量の増加および不確実性低減の観点から、劣化したバッチ設計およびグリーディ設計と比較してどのように優れているか？
• RQ3 高次元かつ非線形な逆問題において、高コストなフォワードモデルを伴う場合に、PG-sOED手法の計算的および統計的性能はいかがなものか？
• RQ4 連続的かつ高次元の設計および観測空間において、導出されたポリシー勾配式は、実用的に効率的に計算・適用可能か？
• RQ5 アドバイザー・クリティック深層学習アーキテクチャは、POMDP定式化の複雑さを考慮しても、適応的設計方針の安定的かつ効果的な学習を可能にするか？

主な発見

• PG-sOED手法は、フィードバックに配慮した、かつ先読みを最適化した設計方針を効果的に学習し、バッチ設計およびグリーディ設計を凌駕する一般化性能を示した。
• 線形ガウス型ベンチマークにおいて、本手法はほぼ最適な性能を達成し、導出されたポリシー勾配式の正しさを検証した。
• 非線形汚染源同定問題において、PG-sOEDはバッチ設計およびグリーディ設計と比較して、事後分布の不確実性を顕著に低減し、優れた情報量の獲得を示した。
• アドバイザー・クリティック深層学習アーキテクチャは、POMDP定式化の複雑さにもかかわらず、安定した訓練と効果的な方針最適化を可能にした。
• 学習された方針ネットワークを通じた探索と活用のバランスにより、実験の効率性が向上した。
• 導出されたポリシー勾配式により、サンプリングのみの遷移とベイジアン推論ステップを伴う場合でも、エンド・トゥ・エンドで微分可能な逐次設計方針の訓練が可能となった。