[论文解读] A Comparison of Rule Extraction for Different Recurrent Neural Network Models and Grammatical Complexity.

Qinglong Wang, Kaixuan Zhang+4 more|arXiv (Cornell University)|Jan 16, 2018

Natural Language Processing Techniques被引用 13

一句话总结

该论文比较了多种循环神经网络（RNN）架构——特别是Elman网络、二阶RNN以及新型RNN类型——在从Tomita语法集学习确定性有限自动机（DFA）时的规则提取能力。研究发现，二阶RNN在所有语法中均一致优于其他模型，在规则提取准确率方面表现最佳，其性能不一致性可通过基于熵和平均编辑距离的语法复杂度理论分析加以解释。

ABSTRACT

It has been shown that rules can be extracted from highly non-linear, recursive models such as recurrent neural networks (RNNs). The RNN models mostly investigated include both Elman networks and second-order recurrent networks. Recently, new types of RNNs have demonstrated superior power in handling many machine learning tasks, especially when structural data is involved such as language modeling. Here, we empirically evaluate different recurrent models on the task of learning deterministic finite automata (DFA), the seven Tomita grammars. We are interested in the capability of recurrent models with different architectures in learning and expressing regular grammars, which can be the building blocks for many applications dealing with structural data. Our experiments show that a second-order RNN provides the best and stablest performance of extracting DFA over all Tomita grammars and that other RNN models are greatly influenced by different Tomita grammars. To better understand these results, we provide a theoretical analysis of the complexity of different grammars, by introducing the entropy and the averaged edit distance of regular grammars defined in this paper. Through our analysis, we categorize all Tomita grammars into different classes, which explains the inconsistency in the performance of extraction observed across all RNN models.

研究动机与目标

• 评估不同RNN架构在学习正则语法时的规则提取性能。
• 探究为何某些RNN模型在不同Tomita语法上表现不一致。
• 构建一个理论框架，用于量化语法复杂度，以解释规则提取性能的差异。
• 基于熵和平均编辑距离，对Tomita语法进行基于内在结构复杂度的分类。

提出的方法

• 在七个Tomita语法的确定性有限自动机（DFA）上，实证评估多种RNN架构（包括Elman网络和二阶RNN）的性能。
• 应用规则提取技术，将训练好的RNN模型转换为可解释的逻辑规则。
• 定义并计算正则语法的熵，作为语法不确定性的度量。
• 引入语法中字符串之间的平均编辑距离，作为结构复杂度的度量。
• 利用这些复杂度度量，将Tomita语法分类为不同的性能类别。
• 将理论复杂度度量与不同RNN模型在规则提取准确率上的实际表现进行相关性分析。

实验结果

研究问题

• RQ1 不同RNN架构在从正则语法中提取可解释规则方面表现如何？
• RQ2 为何某些RNN模型在不同Tomita语法上的规则提取性能表现不一致？
• RQ3 哪些内在语法特性能够解释RNN模型在规则提取性能上的差异？
• RQ4 能否通过熵和编辑距离的形式化度量来量化语法复杂度，以预测规则提取的难度？
• RQ5 哪种RNN架构在所有Tomita语法上均表现出最稳定且最准确的规则提取性能？

主要发现

• 二阶RNN在所有七个Tomita语法中均实现了最一致且最高的规则提取准确率。
• Elman网络及其他RNN变体在不同具体Tomita语法上的性能差异显著，表明其对语法结构高度敏感。
• 所提出的复杂度度量——熵和平均编辑距离——成功解释了不同语法间性能差异。
• 基于这些度量，Tomita语法可被有意义地划分为复杂度类别，且与实证规则提取结果一致。
• 熵值较高且平均编辑距离较大的语法更难进行规则提取，尤其在简单RNN架构中表现更明显。
• 该理论框架可在无需训练的情况下，仅基于语法结构预测规则提取的难度。