[论文解读] Deep Adaptive Design: Amortizing Sequential Bayesian Experimental Design

Adam Foster, Desi R. Ivanova+2 more|arXiv (Cornell University)|Mar 3, 2021

Optimal Experimental Design Methods参考文献 57被引用 8

一句话总结

Deep Adaptive Design (DAD) 提出了一种基于深度学习的方法，用于摊销顺序贝叶斯实验设计，通过训练好的神经网络单次前向传播实现实时自适应实验决策。通过制定整体目标并使用对比信息界，DAD 训练策略网络以高效选择最优设计，在速度和有效性上优于迭代方法，同时支持非贪心策略。

ABSTRACT

We introduce Deep Adaptive Design (DAD), a method for amortizing the cost of adaptive Bayesian experimental design that allows experiments to be run in real-time. Traditional sequential Bayesian optimal experimental design approaches require substantial computation at each stage of the experiment. This makes them unsuitable for most real-world applications, where decisions must typically be made quickly. DAD addresses this restriction by learning an amortized design network upfront and then using this to rapidly run (multiple) adaptive experiments at deployment time. This network represents a design policy which takes as input the data from previous steps, and outputs the next design using a single forward pass; these design decisions can be made in milliseconds during the live experiment. To train the network, we introduce contrastive information bounds that are suitable objectives for the sequential setting, and propose a customized network architecture that exploits key symmetries. We demonstrate that DAD successfully amortizes the process of experimental design, outperforming alternative strategies on a number of problems.

研究动机与目标

• 为解决顺序贝叶斯最优实验设计（BOED）中的计算瓶颈问题，其中迭代后验更新和互信息最大化速度过慢，难以满足实时应用需求。
• 在实际场景（如调查或临床试验）中实现实时自适应实验设计，其中决策必须快速做出。
• 开发一种方法，通过学习单一可重用的策略网络，将设计计算成本在多个实验中摊销。
• 在不直接估计后验或边缘似然的情况下训练设计策略，避免双重不可解问题和推理瓶颈。
• 支持在优化过程中考虑未来设计决策的非贪心策略，与传统贪心方法不同。

提出的方法

• 将顺序 BOED 表述为整体目标，最大化整个实验轨迹的期望信息增益，而非逐步优化每一步。
• 引入对比信息界作为策略网络端到端训练的代理目标，实现无需估计难以计算的后验或边缘分布的随机梯度上升。
• 采用双流神经架构：编码器用于处理历史设计-结果对，发射器用于输出下一步设计，通过共享表征利用时间对称性。
• 利用最优策略的排列对称性，设计出对称且参数高效的网络架构，使其在时间步之间具有泛化能力。
• 使用评分函数梯度估计器结合蒙特卡洛采样来优化策略参数，实现无需对难以计算的期望进行反向传播的训练。
• 应用指数学习率衰减和基线技术以稳定训练并提升收敛性。

实验结果

研究问题

• RQ1 我们能否训练一个深度神经网络实现实时自适应实验设计，从而在每一步都绕过迭代优化？
• RQ2 如何在不直接估计后验或边缘似然的情况下训练设计策略，以避免双重不可解问题？
• RQ3 我们能否在一个单一的摊销训练过程中学习到考虑未来决策的非贪心策略？
• RQ4 利用设计策略中的对称性是否能提升序列实验设计中的泛化能力和样本效率？
• RQ5 与迭代 BOED 和变分基线方法相比，摊销版 DAD 方法在信息增益和推理速度方面的表现如何？

主要发现

• DAD 相较于迭代方法（如 SeqBED）实现了显著的速度提升，每步设计决策仅需毫秒级时间，同时保持了较高的信息增益。
• 在死亡过程和指数衰减问题上，DAD 网络在期望信息增益（EIG）方面优于固定基线和变分推理基线。
• 该方法成功学习到考虑未来决策的非贪心策略，这在滚动评估中体现为后验分布聚集在真实参数值附近。
• 对比界实现了无需直接后验估计的有效训练，且对称架构提升了时间步之间的样本效率和泛化能力。
• DAD 网络在多个实验实例（如不同参与者）之间具有泛化能力，支持重复部署中的重用和共享计算。
• 即使仅使用 T=4 个时间步，DAD 仍能实现与最优迭代方法相当的高 EIG，证明了其强大的摊销效率。