[论文解读] Learning Compositional Rules via Neural Program Synthesis
本文提出一种神经符号模型，通过将神经提案与符号程序检查相结合，在仅有少量示例的情况下诱导显式规则系统，实现跨领域的成分化泛化。
Many aspects of human reasoning, including language, require learning rules from very little data. Humans can do this, often learning systematic rules from very few examples, and combining these rules to form compositional rule-based systems. Current neural architectures, on the other hand, often fail to generalize in a compositional manner, especially when evaluated in ways that vary systematically from training. In this work, we present a neuro-symbolic model which learns entire rule systems from a small set of examples. Instead of directly predicting outputs from inputs, we train our model to induce the explicit system of rules governing a set of previously seen examples, drawing upon techniques from the neural program synthesis literature. Our rule-synthesis approach outperforms neural meta-learning techniques in three domains: an artificial instruction-learning domain used to evaluate human learning, the SCAN challenge datasets, and learning rule-based translations of number words into integers for a wide range of human languages.
研究动机与目标
- 激发从极少量数据学习成分化规则的动机，类似于人类的泛化。
- 提出一种神经程序综合框架，从支持示例中诱导显式的基于语法的规则系统。
- 在多个领域展示相对于神经元元学习基线的更优泛化。
- 展示可解释的规则发现以及通过显式语法搜索实现的强鲁棒外分布泛化。
提出的方法
- 使用基于 BiLSTM 的编码器对支持集的输入输出示例进行编码。
- 使用带注意力的 LSTM 解码器来解码候选语法。
- 将程序表示为改写规则的解释性语法（左手边 LHS -> 右手边 RHS）。
- 对查询输入以符号方式应用采样的语法并检查与支持集的一致性。
- 在规则系统的元语法上进行训练，以执行近似贝叶斯语法归纳。
- 在测试时，通过采样候选语法并对其与支持集进行验证来执行搜索，直到找到一个一致的语法为止。
实验结果
研究问题
- RQ1神经符号模型是否能够从少量示例中诱导显式规则系统并对新输入实现成分化泛化？
- RQ2在成分性任务上，显式语法搜索与纯神经元元学习相比有何差异？
- RQ3该方法能否迁移到人类语言风格的指令学习、Scan 数据集，以及跨语言的数字词解释？
- RQ4对大量支持示例的关注是否能提升规则发现与跨领域的泛化？
主要发现
- 所提出的规则综合模型在人工指令学习、Scan 挑战以及跨语言的数字词解释上优于神经元元学习基线。
- 基于搜索的合成在 Mini Scan 上实现近乎完美的性能，并且随着规则复杂性增加保持准确性，与基线不同。
- 纯粹的神经 I/O 映射在处理长查询或分布外查询时表现不佳，而显式规则学习通过将学到的语法应用于任意查询输入实现泛化。
- 该模型在多语言的数字词解释上实现了强劲的性能，展示了跨语言的成分化泛化。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。