[论文解读] A Comparative Study of Rule Extraction for Recurrent Neural Networks

Qinglong Wang, Kaixuan Zhang+4 more|arXiv (Cornell University)|Jan 16, 2018

Machine Learning and Algorithms参考文献 35被引用 12

一句话总结

本文在七种不同复杂度的Tomita语法上，比较了五种循环神经网络架构（Elman-RNN、二阶RNN、MI-RNN、LSTM和GRU）通过确定性有限自动机（DFA）进行规则提取的表现。结果表明，二阶RNN在DFA提取准确率和稳定性方面始终优于其他模型，尤其在复杂语法上表现突出；而Elman-RNN等简单模型在某些任务上的成功率低于10%。

ABSTRACT

Understanding recurrent networks through rule extraction has a long history. This has taken on new interests due to the need for interpreting or verifying neural networks. One basic form for representing stateful rules is deterministic finite automata (DFA). Previous research shows that extracting DFAs from trained second-order recurrent networks is not only possible but also relatively stable. Recently, several new types of recurrent networks with more complicated architectures have been introduced. These handle challenging learning tasks usually involving sequential data. However, it remains an open problem whether DFAs can be adequately extracted from these models. Specifically, it is not clear how DFA extraction will be affected when applied to different recurrent networks trained on data sets with different levels of complexity. Here, we investigate DFA extraction on several widely adopted recurrent networks that are trained to learn a set of seven regular Tomita grammars. We first formally analyze the complexity of Tomita grammars and categorize these grammars according to that complexity. Then we empirically evaluate different recurrent networks for their performance of DFA extraction on all Tomita grammars. Our experiments show that for most recurrent networks, their extraction performance decreases as the complexity of the underlying grammar increases. On grammars of lower complexity, most recurrent networks obtain desirable extraction performance. As for grammars with the highest level of complexity, while several complicated models fail with only certain recurrent networks having satisfactory extraction performance.

研究动机与目标

• 探究通过确定性有限自动机（DFA）进行符号规则提取在多种循环神经网络架构中是否可行且有效。
• 分析底层正则文法的复杂度如何影响RNN中DFA提取的性能。
• 在标准化基准数据集上评估并比较多种RNN模型在DFA提取成功率和质量方面的表现。
• 识别影响RNN中符号知识提取的架构与训练因素。

提出的方法

• 使用两种复杂度度量（熵和平均编辑距离）对七种Tomita语法进行形式化分类。
• 在每种Tomita语法上训练五种循环网络架构（Elman-RNN、二阶RNN、MI-RNN、LSTM和GRU），以学习其语言。
• 应用一种通用的组合式DFA提取方法，将RNN的隐藏状态空间划分为有限状态，并基于输入符号推断转移规则。
• 使用两个指标评估提取性能：(1) 提取DFA的质量（如正确性和完备性），以及(2) 恢复唯一目标DFA的成功率。
• 对每个模型-语法组合执行多次随机试验，以确保结果的统计可靠性。
• 利用提取出的DFA比较模型行为，评估不同架构在符号规则提取中的稳定性和准确性。

实验结果

研究问题

• RQ1 正则文法的复杂度在多大程度上影响从训练好的循环网络中提取DFA的成功率？
• RQ2 哪种循环网络架构在不同文法上能实现最准确且最稳定的DFA提取？
• RQ3 架构组件（如二阶交互作用或门控机制）在多大程度上影响符号规则提取？
• RQ4 是否存在某些RNN在特定文法上无法提取出正确DFA的情况？若存在，原因是什么？
• RQ5 激活函数的选择（如tanh与ReLU）在多大程度上影响DFA提取性能？

主要发现

• 在低复杂度Tomita语法（如语法1）上，所有模型均取得高成功率，其中二阶RNN和MI-RNN表现尤为突出。
• 在中等复杂度的语法上，大多数模型的成功率低于50%，而二阶RNN显著优于其他模型。
• 在最复杂的语法（语法5和6）上，仅二阶RNN和MI-RNN能成功提取出正确的DFA，其余所有模型均失败。
• 使用tanh激活函数的Elman-RNN在语法2上虽取得高DFA质量（接近100%准确率），但成功率仅为10%，表明DFA质量与正确结构恢复之间存在脱节。
• 二阶RNN在所有语法上均展现出最稳定且一致的DFA提取性能，甚至在复杂任务上优于LSTM和GRU。
• 结果表明，二次交互机制（如二阶RNN和MI-RNN中所采用）更有利于生成适合DFA提取的空间可分隐藏状态。