[論文レビュー] Optimizing Sequential Experimental Design with Deep Reinforcement Learning

Tom Blau, Edwin V. Bonilla+2 more|arXiv (Cornell University)|Feb 2, 2022

Machine Learning in Materials Science被引用数 9

ひとこと要約

本論文は、連続的および離散的設計空間においても、確率的モデルがブラックボックスである場合でも、効率的で非短視的最適化を可能にする、深層強化学習（RL）フレームワークを提案する。このフレームワークは、逐次的実験設計（SED）をマルコフ決定過程（MDP）として定式化し、微分可能でないモデルや勾配ベースの最適化を必要とせず、ポリシー勾配法を活用することで、多様な設定において最先端の性能を達成する。

ABSTRACT

Bayesian approaches developed to solve the optimal design of sequential experiments are mathematically elegant but computationally challenging. Recently, techniques using amortization have been proposed to make these Bayesian approaches practical, by training a parameterized policy that proposes designs efficiently at deployment time. However, these methods may not sufficiently explore the design space, require access to a differentiable probabilistic model and can only optimize over continuous design spaces. Here, we address these limitations by showing that the problem of optimizing policies can be reduced to solving a Markov decision process (MDP). We solve the equivalent MDP with modern deep reinforcement learning techniques. Our experiments show that our approach is also computationally efficient at deployment time and exhibits state-of-the-art performance on both continuous and discrete design spaces, even when the probabilistic model is a black box.

研究の動機と目的

• 微分可能でなければならないという制限があり、連続的設計空間に限定される既存のアモアタイズドベイジアン最適実験設計（BOED）手法の限界を解消すること。
• 連続的および離散的設計空間の両方において、非短視的で計算的に効率的な実験設計を可能にすること。
• 確率的モデルを経由した勾配計算に依存しない汎用的なフレームワークの開発。
• 勾配ベースのポリシー最適化手法に比べ、設計空間の探索を改善すること。
• 適切な報酬設計を伴うMDPとしてSEDを定式化することで、市販のRLアルゴリズムを用いて優れた性能が達成できることを示すこと。

提案手法

• 著者らは、逐次的実験設計をマルコフ決定過程（MDP）として再定式化し、状態はモデルパラメータの現在の事後分布を表し、行動は実験設計を表し、報酬は期待情報量増加（EIG）に基づく。
• EIGの推定を微分可能かつスケーラブルに可能にするために、事前対照推定（PCE）下界を用いる。これにより、ポリシーネットワークの学習が可能になる。
• ポリシー勾配法（例：PPO）を用いて、一連の実験における累積期待報酬を最大化するように、深層ポリシーネットワークを訓練する。
• 確率的モデルを経由したバックプロパゲーションを必要としないため、ブラックボックスモデルにも適用可能である。
• 適切な報酬因子分解が極めて重要である：報酬は各ステップにおける情報量増加を反映するように分解され、報酬の分配が不正確または疎らになるのを避ける。
• 本手法はアモアタイズドであり、一度の学習フェーズを経て、デプロイメント時の高速な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 連続的および離散的設計空間を有する逐次的実験設計問題に、強化学習が効果的に適用可能かどうか。
• RQ2 勾配が利用できない、またはブラックボックスな確率的モデルを有する設定において、RLベースの実験設計の性能が勾配ベースのアモアタイズド手法に比べてどのように異なるか。
• RQ3 適切なMDP定式化と報酬設計が、強化学習エージェントの実験設計における性能に与える影響は何か。
• RQ4 RLベースのポリシーは、勾配ベースのポリシー最適化手法に比べ、より多様で情報量の多い設計を発見できるか。
• RQ5 設計空間の探索能力が、非短視的実験設計における性能向上にどの程度寄与するか。

主な発見

• 提案手法は、微分可能モデルに依存する非アモアタイズドおよびアモアタイズドベースラインをすべて大きく上回り、連続的設計空間において顕著な性能向上を達成する。
• 離散的設計空間では、最良の非アモアタイズドベースラインと同等の性能を達成するが、勾配が必要なアモアタイズドベースラインは失敗する。
• 勾配が得られないブラックボックスモデルでは、RLアプローチが最先端の性能を達成する一方、大多数のベースラインは適用不可能である。
• アブレーションスタディにより、単純な報酬設計では性能が著しく低下することが確認され、EIG目的関数を段階的報酬に正しく因子分解することが重要であることが示された。
• 訓練済みのRLポリシーは、勾配ベースのポリシー最適化に比べ、より多様で情報量の多い設計を提案するため、優れた探索性能が示された。
• 本手法は、広い問題クラスをカバーするにもかかわらず、デプロイメント時の推論時間を短く保ち、アモアタイズド手法と同等の効率性を維持する。