[论文解读] Learning to learn generative programs with Memoised Wake-Sleep

Luke Hewitt, Tuan Le+1 more|arXiv (Cornell University)|Jul 6, 2020

Artificial Intelligence in Games参考文献 25被引用 4

一句话总结

该论文提出了一种名为记忆化唤醒-睡眠（Memoised Wake-Sleep, MWS）的新算法，通过缓存并重用训练过程中发现的最佳程序，增强了神经符号生成模型中的程序归纳能力。通过维护一个有限的高质量潜在程序记忆库，MWS 加速了推理过程，并在基于笔画的字符建模、细胞自动机以及少样本字符串概念学习等结构化生成任务中，提升了学习效率与准确性。

ABSTRACT

We study a class of neuro-symbolic generative models in which neural networks are used both for inference and as priors over symbolic, data-generating programs. As generative models, these programs capture compositional structures in a naturally explainable form. To tackle the challenge of performing program induction as an 'inner-loop' to learning, we propose the Memoised Wake-Sleep (MWS) algorithm, which extends Wake Sleep by explicitly storing and reusing the best programs discovered by the inference network throughout training. We use MWS to learn accurate, explainable models in three challenging domains: stroke-based character modelling, cellular automata, and few-shot learning in a novel dataset of real-world string concepts.

研究动机与目标

• 解决在神经符号生成模型训练过程中反复执行计算成本高昂的程序归纳所面临的挑战。
• 通过学习作为潜在变量的符号化、组合式程序，提升泛化能力与可解释性。
• 开发一种可扩展的训练算法，通过重用先前发现的高质量程序，减少对重复、高成本推理的依赖。
• 在稀疏离散潜在空间的结构化领域中，实现程序先验与模型参数的联合学习。
• 在多种领域中验证方法的有效性，包括字符生成、细胞自动机以及现实世界中的字符串概念归纳。

提出的方法

• 提出记忆化唤醒-睡眠（MWS）算法，作为唤醒-睡眠算法的扩展，为每个输入 $x_i$ 维护一个包含前 $K$ 个最佳程序的有限集合 $\mathcal{Z}_i$。
• 使用识别网络 $r_\psi(z|x)$ 提出候选程序，并在每次训练迭代中更新记忆集合 $\mathcal{Z}_i$。
• 优化数据似然的变分下界，其中变分分布 $Q_i(z_i)$ 支持在 $\mathcal{Z}_i$ 上。
• 以交替方式训练生成模型 $p_\theta(z)p_\phi(x|z)$ 和识别网络 $r_\psi(z|x)$，将缓存的程序作为有效的推理目标。
• 支持程序先验与连续参数（如细胞自动机中的噪声水平）的端到端联合学习。
• 将 MWS 应用于三个领域：基于笔画的字符生成、具有潜在规则的细胞自动机，以及一个新颖的少样本字符串概念数据集。

实验结果

研究问题

• RQ1 在训练过程中缓存高质量程序是否能显著降低神经符号模型中重复程序归纳带来的计算负担？
• RQ2 与标准唤醒-睡眠算法及相关方法相比，MWS 是否能提升符号生成程序学习的准确率与收敛速度？
• RQ3 MWS 是否能在如细胞自动机等结构化领域中，有效学习到有意义且可解释的程序先验与模型参数（如噪声水平）？
• RQ4 MWS 在从极少数样本中泛化学习现实世界字符串概念方面表现如何？
• RQ5 在速度与准确率方面，MWS 相较于先进的基线方法（如重加权唤醒-睡眠，RWS）和 VIMCO，优势有多大？

主要发现

• 在合成程序归纳任务中，MWS 显著优于 RWS 和 VIMCO，学习准确率大幅提升，硬任务中与真实模型的距离最高降低了 75%。
• 在硬任务中，当 $K=10$ 时，MWS 与真实模型的距离为 0.75，而 VIMCO 为 1.26，RWS 为 2.43。
• 在细胞自动机领域，MWS 准确估计了真实噪声参数 $\epsilon$（2%），在简单与困难规则变体中均优于基线方法。
• 在包含 1500 个少样本问题的新颖字符串概念数据集上，MWS 展现出强大的少样本泛化能力，能够从极少数样本中学习到现实世界中的字符串模式，如日期和电子邮件格式。
• 在字符生成任务中，MWS 达到了 21.8% 的准确率，尽管基于笔画的程序归纳具有高度复杂性，其性能仍与或超过当前最先进水平。
• 通过减少训练步骤中重复且昂贵的推理需求，MWS 相较于 RWS 和 VIMCO 实现了显著的速度提升。