[论文解读] Can Neural Networks Learn Symbolic Rewriting?

Bartosz Piotrowski, Josef Urban+2 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 15被引用 13

一句话总结

本文研究了神经机器翻译（NMT）模型在何种程度上可以通过在两个数据集上进行训练来学习符号重写：一个源自自动定理证明（AIM循环）的数据集，另一个是合成的多项式归一化数据集。尽管模型容量有限且训练时间较短，NMT模型仍取得了出人意料的高准确率——在表现最佳的默认OpenNMT模型上达到67.7%的准确率，表明神经网络能够学习复杂的符号重写规则，但泛化能力和数据泄露仍是关键挑战。

ABSTRACT

This work investigates if the current neural architectures are adequate for learning symbolic rewriting. Two kinds of data sets are proposed for this research -- one based on automated proofs and the other being a synthetic set of polynomial terms. The experiments with use of the current neural machine translation models are performed and its results are discussed. Ideas for extending this line of research are proposed, and its relevance is motivated.

研究动机与目标

• 探究当前神经架构（尤其是NMT模型）是否能够学习符号重写任务。
• 评估NMT模型在两个不同符号重写数据集上的表现：一个来自自动定理证明（AIM循环）的数据集，另一个是合成的多项式归一化数据集。
• 评估神经模型在符号重写任务中的泛化能力，尤其关注由于常数和符号变化导致的数据泄露风险。
• 识别现有评估实践中的局限性，并提出更严格的符号机器学习分析方法。

提出的方法

• 构建了两个数据集：一个来自Prover9对AIM循环定理证明中的归结推理，另一个来自随机生成并归一化为标准形式的多项式项。
• AIM数据集包含20条独立的重写规则（8条基元规则，12条非基元规则），术语被标记为符号的线性序列。
• 多项式数据集每类包含300,000个样本，变量和常数数量各异，经过筛选以避免过长或过复杂的术语。
• 实验采用基于LSTM的NMT模型，配备缩放后的Luong注意力机制，使用60%的数据进行训练，10%用于验证，30%用于测试。
• 还评估了一个默认的OpenNMT模型（500个单元，束搜索宽度为10），并与先前工作中使用的更大规模Transformer模型进行了比较。
• 通过将常数替换为'CONST'标记，并将测试样本与训练集进行比较，执行了数据相似性分析，以检测记忆化或重叠现象。

实验结果

研究问题

• RQ1 神经机器翻译模型能否从形式化数学证明中学习符号重写规则？
• RQ2 当训练数据因常数变化而存在重叠模式时，NMT模型在未见符号表达式上的泛化能力如何？
• RQ3 模型性能在多大程度上依赖于数据结构与分布，尤其是在多项式归一化等合成符号领域？
• RQ4 在极少超参数调优和极短训练时间下，简单神经模型能否在符号重写任务上实现高准确率？
• RQ5 符号机器学习中的数据记忆化风险是什么？如何检测并缓解这些风险？

主要发现

• 默认OpenNMT模型在BWD集成数据集上达到67.7%的准确率，显著优于小型NMT模型（18.4%）。
• Lample & Charton（2020）提出的Transformer模型在相同BWD数据集上实现了接近完美的性能（99.6%），表明模型规模对结果有显著影响。
• 在IBP数据集中，当忽略常数和符号时，75%的测试样本与训练样本相似，表明存在潜在的数据泄露和过拟合风险。
• 当多项式数据集中的变量和常数从2个增加到3个时，性能从85.5%下降至71.8%，表明对输入复杂度敏感。
• 分析显示，在最复杂的多项式数据集中，高达92%的测试样本在忽略常数后仍为唯一，表明对泛化能力有极强要求。
• 尽管训练时间仅1–2小时，模型仍取得了出人意料的高表现，表明即使资源有限，神经网络也能学习符号重写。