[论文解读] Grammar Variational Autoencoder
Grammar Variational Autoencoder 编码并直接从上下文无关文法的解析树解码离散数据，确保输出有效并带来更平滑的潜在空间，从而提升算术表达式和分子的优化。
Deep generative models have been wildly successful at learning coherent latent representations for continuous data such as video and audio. However, generative modeling of discrete data such as arithmetic expressions and molecular structures still poses significant challenges. Crucially, state-of-the-art methods often produce outputs that are not valid. We make the key observation that frequently, discrete data can be represented as a parse tree from a context-free grammar. We propose a variational autoencoder which encodes and decodes directly to and from these parse trees, ensuring the generated outputs are always valid. Surprisingly, we show that not only does our model more often generate valid outputs, it also learns a more coherent latent space in which nearby points decode to similar discrete outputs. We demonstrate the effectiveness of our learned models by showing their improved performance in Bayesian optimization for symbolic regression and molecular synthesis.
研究动机与目标
- 促进对难以保证有效性的离散数据进行鲁棒的生成建模。
- 利用上下文无关文法来确保生成序列的句法有效性。
- 学习一个尊重语法结构的连续潜在空间，用于离散输出。
- 在符号回归和分子设计等优化任务中展示其优势。
提出的方法
- 将离散输出表示为来自 CFG 的解析树，并通过文法产生规则进行编码/解码。
- 编码：将输入解析为一系列文法规则，然后用神经编码器映射到潜在向量 z。
- 解码：使用带遮罩的 RNN 从 z 生成文法规则序列，通过栈来强制 CFG 的有效性。
- 在每一步使用带遮罩的 softmax 仅采样语法上有效的产生式（论文中的 Equation 2）。
- 使用对潜在变量 z 的变分目标（ELBO）进行训练，其中高斯编码器 q(z|X) 和先验 p(z)。
- 将解码示例化为一个下推式解析过程，与标准 CFG 解析和下推自动机的概念相联系。
实验结果
研究问题
- RQ1将编码为 CFG 解析树相比文本基解码器是否能提高生成离散结构的有效性率？
- RQ2GVAE 是否产生更平滑且更有意义的潜在空间，从而保留离散输出之间的语义相似性？
- RQ3在 GVAE 潜在空间中的优化（例如贝叶斯优化）是否优于基于字符的 VAE，用于符号回归和分子设计？
- RQ4在算术表达式和分子生成中，关于有效性、预测性能和搜索效率的定性与定量影响有哪些？
主要发现
- GVAE 产生的有效离散输出比例高于基于字符的 VAE。
- GVAE 学习到更平滑的潜在表示，附近的潜在点解码出相似的输出。
- 与 CVAE 相比，使用 GVAE 的潜在空间优化可改善符号回归结果和分子设计。
- 基于 GVAE 的潜在表示在下游性质估计中预测性能更好（例如通过稀疏 GP）。
- 在算术表达式问题中，GVAE 更可靠地发现符合数据的有效且准确的表达式。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。