[论文解读] Improving black-box optimization in VAE latent space using decoder uncertainty

Pascal Notin, José Miguel Hernández-Lobato+1 more|arXiv (Cornell University)|Jun 30, 2021

Advanced Neural Network Applications参考文献 26被引用 24

一句话总结

本文在变分自编码器（VAE）潜在空间中引入以解码器不确定性为引导的黑箱优化，使用基于重要性采样的互信息估计器来提升在数字、算术表达式和分子设计任务中的有效性与目标函数表现。

ABSTRACT

Optimization in the latent space of variational autoencoders is a promising approach to generate high-dimensional discrete objects that maximize an expensive black-box property (e.g., drug-likeness in molecular generation, function approximation with arithmetic expressions). However, existing methods lack robustness as they may decide to explore areas of the latent space for which no data was available during training and where the decoder can be unreliable, leading to the generation of unrealistic or invalid objects. We propose to leverage the epistemic uncertainty of the decoder to guide the optimization process. This is not trivial though, as a naive estimation of uncertainty in the high-dimensional and structured settings we consider would result in high estimator variance. To solve this problem, we introduce an importance sampling-based estimator that provides more robust estimates of epistemic uncertainty. Our uncertainty-guided optimization approach does not require modifications of the model architecture nor the training process. It produces samples with a better trade-off between black-box objective and validity of the generated samples, sometimes improving both simultaneously. We illustrate these advantages across several experimental settings in digit generation, arithmetic expression approximation and molecule generation for drug design.

研究动机与目标

• 在不改变模型结构或训练的前提下，通过 VAEs 激励在高维离散空间中进行鲁棒的黑箱优化。
• 量化解码器的本体不确定性及其对解码样本有效性的影响。
• 在高维结构化数据中使用重要性采样开发一个鲁棒的解码器不确定性估计器。
• 展示跨多种数据模态的不确定性引导优化（数字、算术表达式、分子）。
• 展示与贝叶斯优化以及基于梯度的潜在空间优化方法的兼容性。

提出的方法

• 使用基于重要性采样的互信息（MI）估计器（IS-MI）来定义和估计解码器的本体不确定性。
• 将解码器不确定性整合到优化框架中（带不确定性感知代理的贝叶斯优化或截断；不确定性约束的梯度上升）。
• 给出一个实用的估计器，从模型参数的近似后验中采样，并在这些样本下进行解码以计算 p(y|x,θ)。
• 在三个场景（数字生成、算术表达式近似、分子生成）中应用该方法，采用不同的体系结构（Conv-Deconv、CVAE、JT-VAE）。
• 将 IS-MI 与 token-independence MI (TI-MI) 和基线进行比较，评估解码有效性与目标性能。

实验结果

研究问题

• RQ1 在高维结构化输出中，解码器的本体不确定性是否可以可靠估计？
• RQ2 在潜在点处置高不确定性的截断或惩罚是否能在不牺牲目标性能的前提下提高解码对象的有效性？
• RQ3 在不同架构下，基于解码器不确定性引导的优化在数字、算术表达式和分子生成任务中的表现如何？
• RQ4 在高维场景中，基于重要性抽样的互信息估计器 IS-MI 比 TI-MI 更鲁棒吗？
• RQ5 在不改变模型训练的前提下，不确定性引导的优化能否与贝叶斯优化和基于梯度的潜在空间方法整合？

主要发现

• 解码器不确定性与解码有效性相关：较低不确定性区域在各任务中产生更高有效性的解码。
• IS-MI 提供更低方差的 MI 估计并优于 TI-MI 在高风险潜在点识别方面。
• 相较基线，在数字、算术表达式和分子设计任务中，不确定性引导的优化产生更高的惩罚项目标值和/或更高的有效性。
• 在贝叶斯优化过程中对高不确定性点进行截断可提高有效性，并帮助发现具有有利特性的高质量分子。
• 使用 NLLP（先验似然）约束可能比 IS-MI 影响优化性能。
• JT-VAE 实验表明，不确定性引导的优化在保持质量筛选的同时可实现较高的惩罚对数 P 值，优于忽略解码器不确定性的基线。