[论文解读] Actively Learning what makes a Discrete Sequence Valid

David M. Janz, Jos van der Westhuizen+1 more|arXiv (Cornell University)|Aug 15, 2017

Machine Learning and Algorithms参考文献 19被引用 15

一句话总结

本文提出一种贝叶斯循环神经网络，用于主动学习部分离散序列演变为有效完整序列的概率，从而更高效、更准确地生成分子或代码等有效离散对象。通过使用主动学习采样具有信息量的训练序列，该方法在显著降低训练成本的同时，实现了高生成序列的有效性。

ABSTRACT

Deep learning techniques have been hugely successful for traditional supervised and unsupervised machine learning problems. In large part, these techniques solve continuous optimization problems. Recently however, discrete generative deep learning models have been successfully used to efficiently search high-dimensional discrete spaces. These methods work by representing discrete objects as sequences, for which powerful sequence-based deep models can be employed. Unfortunately, these techniques are significantly hindered by the fact that these generative models often produce invalid sequences. As a step towards solving this problem, we propose to learn a deep recurrent validator model. Given a partial sequence, our model learns the probability of that sequence occurring as the beginning of a full valid sequence. Thus this identifies valid versus invalid sequences and crucially it also provides insight about how individual sequence elements influence the validity of discrete objects. To learn this model we propose an approach inspired by seminal work in Bayesian active learning. On a synthetic dataset, we demonstrate the ability of our model to distinguish valid and invalid sequences. We believe this is a key step toward learning generative models that faithfully produce valid discrete objects.

研究动机与目标

• 为解决离散生成模型中生成无效序列的挑战，特别是在分子结构或代码等高维空间中。
• 开发一种模型，用于预测部分序列演变为有效完整序列的可能性，同时提供有效性预测和序列元素的可解释性。
• 通过主动学习高效选择具有信息量的部分序列进行标注，以克服训练中的数据不平衡问题。
• 通过从早期生成阶段即引导生成模型（如自编码器）朝向有效序列，提升其训练效率。

提出的方法

• 训练一个贝叶斯循环神经网络（RNN），以估计 P(s(x)=1 | x₁:t)，即部分序列 x₁:t 演变为有效完整序列的概率。
• 采用基于互信息的主动学习策略，选择最具信息量的部分序列进行标注，从而减少所需标注样本的数量。
• 利用贝叶斯RNN的不确定性估计，优先选择模型最不确定的序列，提升样本效率。
• 使用温度控制的Boltzmann采样生成多样化但有效的序列，来自训练好的模型。
• 使用交叉熵损失函数，结合概率输出，对RNN进行训练，标签由外部验证器标注为有效或无效序列。
• 将训练好的验证器集成到生成建模流程中，引导解码器仅生成高概率、有效序列。

实验结果

研究问题

• RQ1 循环神经网络能否有效预测部分离散序列演变为有效完整序列的概率？
• RQ2 与随机采样或平衡采样相比，主动学习在样本效率和模型性能方面表现如何？
• RQ3 所提出的方法能否显著减少下游生成模型生成的无效序列数量？
• RQ4 基于模型不确定性的采样策略在多大程度上提升了收敛速度和最终性能？

主要发现

• 主动学习方法在训练样本更少的情况下，仍实现了比基线方法和平衡采样方法更高的平均AUC（受试者工作特征曲线下面积）。
• 主动学习显著降低了训练时间和计算成本，尤其在序列长度和词汇表大小增加时更为明显。
• 主动方法在与平衡基线相似的多样性水平下，实现了100%的序列有效性，而基线方法仅生成10%的有效序列。
• 该模型成功在序列生成的中间步骤预测了有效性，从而实现早期干预，避免无效路径。
• 贝叶斯RNN提供了可靠的不确定性估计，这对有效的主动学习和样本选择至关重要。
• 该方法展现出良好的可扩展性和效率，在样本效率和实际训练时间方面均优于平衡采样。