[論文レビュー] Deep Adaptive Design: Amortizing Sequential Bayesian Experimental Design

Adam Foster, Desi R. Ivanova+2 more|arXiv (Cornell University)|Mar 3, 2021

Optimal Experimental Design Methods参考文献 57被引用数 8

ひとこと要約

Deep Adaptive Design (DAD) は、訓練されたニューラルネットワークの単一のフォワードパスにより、逐次ベイジアン実験設計をアモアタイズする深層学習ベースの手法を提案する。包括的な目的関数と対照的情報バインディングを用いることで、DAD は最適な設計を効率的に選択する方策ネットワークを訓練し、反復的手法よりも高速かつ効果的に動作し、非マイループ戦略をサポートする。

ABSTRACT

We introduce Deep Adaptive Design (DAD), a method for amortizing the cost of adaptive Bayesian experimental design that allows experiments to be run in real-time. Traditional sequential Bayesian optimal experimental design approaches require substantial computation at each stage of the experiment. This makes them unsuitable for most real-world applications, where decisions must typically be made quickly. DAD addresses this restriction by learning an amortized design network upfront and then using this to rapidly run (multiple) adaptive experiments at deployment time. This network represents a design policy which takes as input the data from previous steps, and outputs the next design using a single forward pass; these design decisions can be made in milliseconds during the live experiment. To train the network, we introduce contrastive information bounds that are suitable objectives for the sequential setting, and propose a customized network architecture that exploits key symmetries. We demonstrate that DAD successfully amortizes the process of experimental design, outperforming alternative strategies on a number of problems.

研究の動機と目的

• リアルタイム応用に不適切なほど遅い逐次ベイジアン最適実験設計（BOED）における計算ボトル neck を解消すること。
• アンケートや臨床試験などの実用的状況において、迅速な意思決定が求められるリアルタイムで適応的な実験設計を可能にすること。
• 複数の実験にわたる設計計算のコストを、1つの再利用可能な方策ネットワークを学習することでアモアタイズすること。
• 事後分布や周辺尤度の直接推定を避けることで、二重不確実性と推論のボトル neck を回避して方策を訓練すること。
• 従来のグリーディなアプローチとは異なり、最適化中に将来の設計意思決定を考慮する非マイループ戦略をサポートすること。

提案手法

• 逐次BOEDを、段階的最適化ではなく、全実験経路全体における期待情報量の増加を最大化する包括的目的関数として定式化する。
• 推定困難な事後分布や周辺分布を必要とせず、確率的勾配上昇を可能にするために、エンドツーエンドの方策ネットワーク訓練のための対照的情報バインディングを導入する。
• 過去の設計-結果ペアを処理するエンコーダと、次回の設計を出力するエミッタを備えた二重ストリームニューラルアーキテクチャを採用し、時間的対称性を活用する。
• 最適方策の置換対称性の性質を活用して、時間ステップを跨いで一般化可能な対称的かつパラメータ効率の良いネットワークアーキテクチャを設計する。
• 推定困難な期待値の微分を必要としないため、モンテカルロサンプリングを用いたスコア関数勾配推定器を用いて方策パラメータを最適化する。
• 学習率の指数的低下とベースライン技術を適用して、訓練の安定化と収束の改善を図る。

実験結果

リサーチクエスチョン

• RQ1 我々は、各ステップでの反復的最適化を回避し、リアルタイムで適応的実験設計を実行できる深層ニューラルネットワークを訓練できるか？
• RQ2 事後分布や周辺尤度の直接推定を避けることで、二重不確実性を回避するには、どのように方策を訓練できるか？
• RQ3 1回のアモアタイズド訓練プロセス内で、将来の設計意思決定を考慮する非マイループ戦略を学習できるか？
• RQ4 設計方策における対称性を活用することで、逐次実験設計における一般化性能とサンプル効率が向上するか？
• RQ5 アモアタイズドDAD手法は、反復的BOEDおよび変分ベイズベースラインと比較して、情報量の増加と推論速度の面でどの程度の性能を示すか？

主な発見

• DAD は SeqBED のような反復的手法と比較して顕著な高速化を達成し、1ステップあたりミリ秒単位で設計意思決定が可能であり、高い情報量の増加を維持している。
• DAD ネットワークは、死亡プロセスと指数関数的減衰問題において、固定ベースラインおよび変分推論ベースラインを上回る期待情報量（EIG）を達成している。
• ロールアウト評価における事後分布のクラスタリングが真のパrameter値に近づくことから、DAD は将来の意思決定を考慮する非マイループ戦略を効果的に学習していることが示された。
• 対照的バインディングにより、事後分布の直接推定を避けて効果的な訓練が可能であり、対称的アーキテクチャは時間ステップを跨いで一般化性能とサンプル効率を向上させた。
• DAD ネットワークは、複数の実験インスタンス（例えば、異なる参加者）に跨って一般化可能であり、繰り返しのデプロイメントにおいて再利用可能で共有計算が可能である。
• T=4 の時間ステップのみでさえ、最適な反復的手法と同等の高いEIGを達成しており、強力なアモアタイズド効率を示している。