[论文解读] Implicit Deep Adaptive Design: Policy-Based Experimental Design without Likelihoods

Desi R. Ivanova, Adam S. Foster+3 more|arXiv (Cornell University)|Nov 3, 2021

Optimal Experimental Design Methods被引用 11

一句话总结

本文提出隐式深度自适应设计（iDAD），一种针对缺乏显式似然函数的隐式模型的实时自适应实验设计方法。通过使用无需似然的互信息边界（InfoNCE 和 NWJ）训练深度策略网络，iDAD 实现了毫秒级的部署决策，优于非摊销化 BOED，并将基于策略的实验设计方法扩展至随机微分方程（SDE）和常微分方程（ODE）等复杂模型。

ABSTRACT

We introduce implicit Deep Adaptive Design (iDAD), a new method for performing adaptive experiments in real-time with implicit models. iDAD amortizes the cost of Bayesian optimal experimental design (BOED) by learning a design policy network upfront, which can then be deployed quickly at the time of the experiment. The iDAD network can be trained on any model which simulates differentiable samples, unlike previous design policy work that requires a closed form likelihood and conditionally independent experiments. At deployment, iDAD allows design decisions to be made in milliseconds, in contrast to traditional BOED approaches that require heavy computation during the experiment itself. We illustrate the applicability of iDAD on a number of experiments, and show that it provides a fast and effective mechanism for performing adaptive design with implicit models.

研究动机与目标

• 解决隐式模型在似然函数难以计算时缺乏可扩展、实时的自适应实验设计方法的问题。
• 克服先前基于策略的方法（如 DAD）的局限性，后者要求实验条件独立且需显式似然函数。
• 开发一种通过端到端训练设计策略网络来摊销贝叶斯最优实验设计（BOED）成本的方法。
• 利用同一判别器网络同时实现快速设计决策和无需似然的后验推断。
• 将方法适用范围扩展至复杂、时变及随机模型，如基于 SDE 的 SIR 模型和 Lotka-Volterra 模型。

提出的方法

• 训练深度策略网络，将历史设计-结果对映射至下一个最优设计，实现在毫秒级内的实时决策。
• 使用无需似然的互信息边界——InfoNCE 和 NWJ——作为训练策略网络的代理目标函数。
• 利用辅助判别器网络与策略网络并行训练，以估计互信息并支持后验推断。
• 采用基于 LSTM 的架构编码序列实验历史，捕捉超越条件独立设计的时序依赖关系。
• 使用随机梯度下降联合训练策略与判别器，结合学习率退火与对比采样策略。
• 利用模型输出 $ y|\theta,\xi $ 和梯度 $ \partial y/\partial \xi $ 的可微分模拟，实现通过模拟器的反向传播。

实验结果

研究问题

• RQ1 我们能否在无需显式似然函数的情况下，对隐式模型实现实时自适应实验设计？
• RQ2 无需似然的互信息边界（InfoNCE 和 NWJ）能否有效用于训练 BOED 的设计策略网络？
• RQ3 iDAD 在信息增益和推断精度方面是否优于非摊销化 BOED 及现有基于策略的方法？
• RQ4 用于训练的同一判别器网络是否也能实现无需似然的后验推断？
• RQ5 与基线方法相比，iDAD 在 SDE、ODE 和时间序列等不同模型类别中的表现如何？

主要发现

• 对于具有 T=5 次观测的基于 SDE 的 SIR 模型，iDAD 在 InfoNCE 下实现期望信息增益 3.915 ± 0.020，在 NWJ 下实现 3.869 ± 0.001，优于先前使用更嘈杂的泊松观测模型的工作。
• 随着观测次数增加，期望信息增益提升，其中从 T=1 到 T=2 的增益最大，表明在 SIR 模型中，两个观测对估计两个参数至关重要。
• 在五个随机种子下均表现出训练稳定性：iDAD-InfoNCE 的平均下界为 3.906 ± 0.007，iDAD-NWJ 为 3.859 ± 0.009，性能一致。
• iDAD 优于非摊销化 SG-BOED（平均下界 3.749 ± 0.012）和 MINEBED（3.397 ± 0.015），表明摊销学习可提升信息增益估计性能。
• 该方法可推广至非条件独立设计，成功处理时间序列和动态模型（如 Lotka-Volterra 系统）。
• 在 iDAD 训练过程中训练的判别器网络可实现无需似然的后验推断，实现了单一框架下设计与推断的双重优势。