[论文解读] Inducing Regular Grammars Using Recurrent Neural Networks

Mor Cohen, Avi Caciularu+2 more|arXiv (Cornell University)|Oct 28, 2017

Natural Language Processing Techniques参考文献 15被引用 14

一句话总结

本文提出了一种新颖的方法，通过训练循环神经网络（RNN）将字符串分类为属于或不属于目标正则语言，从而从带标签的字符串数据中诱导出正则语法。随后通过无监督聚类RNN的连续隐藏状态，提取有限状态自动机。关键贡献是一种状态量化技术，可自动确定聚类数量而无需先验假设，从而在RNN学习到暗示泛化的循环状态转移时，仍能以高精度重建最小化的确定性有限自动机（DFA）。

ABSTRACT

Grammar induction is the task of learning a grammar from a set of examples. Recently, neural networks have been shown to be powerful learning machines that can identify patterns in streams of data. In this work we investigate their effectiveness in inducing a regular grammar from data, without any assumptions about the grammar. We train a recurrent neural network to distinguish between strings that are in or outside a regular language, and utilize an algorithm for extracting the learned finite-state automaton. We apply this method to several regular languages and find unexpected results regarding the connections between the network's states that may be regarded as evidence for generalization.

研究动机与目标

• 开发一种无需对语法结构作先验假设的通用方法，从正负字符串示例中诱导正则语法规则。
• 探究RNN是否能够学习正则语言的潜在模式，并在有限训练数据之外实现泛化。
• 通过聚类方法对RNN的连续隐藏状态进行量化，从训练好的RNN中提取确定性有限自动机（DFA）。
• 在合成正则语言上评估该方法，包括简单的和复杂的模式，如词性结构。
• 探索RNN状态中出现的循环行为是否表明其具备泛化能力，即使在未对状态转移进行显式监督的情况下。

提出的方法

• 生成一个包含15,000个训练、10,000个验证和10,000个测试字符串的平衡数据集，标签表示字符串是否属于目标正则语言。
• 训练一个循环神经网络（RNN）15个周期，以实现字符串的正负分类，验证准确率接近完美（约99–100%）。
• 在推理过程中提取RNN对所有输入字符串的隐藏状态，得到网络内部状态的连续向量表示。
• 应用聚类算法（如k-means）将相似的RNN状态聚合成离散状态，使用启发式方法在无先验知识的情况下确定最优聚类数量。
• 通过基于RNN状态转移定义转移关系，并根据分类结果标记接受状态，从聚类后的状态构建DFA。
• 使用标准最小化算法对所得DFA进行最小化，以获得紧凑且等价的自动机。

实验结果

研究问题

• RQ1 仅通过字符串分类训练的RNN是否能在不预先假设语法规则结构的情况下，学习到正则语言的潜在结构？
• RQ2 RNN连续隐藏状态中出现的循环是否表明其具备对任意长序列的泛化能力，即使未对状态转移进行显式监督？
• RQ3 对RNN状态进行聚类是否能有效恢复出准确表示目标语言的有限状态自动机？
• RQ4 当RNN在目标语言的随机和非语法变体上进行训练时，提取的DFA对噪声和分布偏移的鲁棒性如何？
• RQ5 DFA的错误状态在多大程度上可用于生成新训练样本，以实现有针对性的数据增强？

主要发现

• RNN在所有合成正则语言任务中均实现了接近完美的验证准确率（约99–100%），表明其具备强大的模式学习能力。
• 该方法成功重建了与目标语言高度一致的DFA，包括在基于词性结构的复杂正则表达式上达到99.6%的准确率。
• RNN在其连续隐藏状态中表现出意外的循环行为——多次重复访问同一状态向量，表明其具备对无限长序列的泛化能力，尽管处于连续状态空间中。
• 基于聚类的量化方法产生了无冲突的转移，表明同一聚类内的状态在输入转移下行为相似，验证了聚类的表征保真度。
• 提取的DFA的错误状态对应于无限类别的误分类字符串（通过泵引理证实），从而可通过网络自身的错误生成新训练样例，实现有针对性的数据增强。
• RNN的连续状态空间对微小扰动具有鲁棒性，因为邻近状态会产生相似的转移，支持了聚类方法的有效性。