[论文解读] Distance and Equivalence between Finite State Machines and Recurrent Neural Networks: Computational results

Reda Marzouk, Colin de la Higuera|arXiv (Cornell University)|Apr 1, 2020

Machine Learning and Algorithms参考文献 39被引用 4

一句话总结

本文研究了使用有限状态机（FSM）近似循环神经网络语言模型（RNN-LM）的计算复杂性，证明了具有ReLU激活函数的一般RNN-LM与加权FSM（PFA/WFA）之间的等价性与距离计算是不可判定的。对于一致的RNN-LM，Tchebychev距离近似是可判定的，但在有限支持下为NP难问题，该结果对LSTM、GRU以及有限精度RNN具有重要意义。

ABSTRACT

The need of interpreting Deep Learning (DL) models has led, during the past years, to a proliferation of works concerned by this issue. Among strategies which aim at shedding some light on how information is represented internally in DL models, one consists in extracting symbolic rule-based machines from connectionist models that are supposed to approximate well their behaviour. In order to better understand how reasonable these approximation strategies are, we need to know the computational complexity of measuring the quality of approximation. In this article, we will prove some computational results related to the problem of extracting Finite State Machine (FSM) based models from trained RNN Language models. More precisely, we'll show the following: (a) For general weighted RNN-LMs with a single hidden layer and a ReLu activation: - The equivalence problem of a PDFA/PFA/WFA and a weighted first-order RNN-LM is undecidable; - As a corollary, the distance problem between languages generated by PDFA/PFA/WFA and that of a weighted RNN-LM is not recursive; -The intersection between a DFA and the cut language of a weighted RNN-LM is undecidable; - The equivalence of a PDFA/PFA/WFA and weighted RNN-LM in a finite support is EXP-Hard; (b) For consistent weight RNN-LMs with any computable activation function: - The Tcheybechev distance approximation is decidable; - The Tcheybechev distance approximation in a finite support is NP-Hard. Moreover, our reduction technique from 3-SAT makes this latter fact easily generalizable to other RNN architectures (e.g. LSTMs/RNNs), and RNNs with finite precision.

研究动机与目标

• 分析使用有限状态机（FSM）近似训练好的RNN语言模型的计算复杂性，特别是等价性与距离度量方面的问题。
• 评估从训练好的RNN中后处理提取符号化、可解释FSM的可行性，这是可解释人工智能中的关键挑战。
• 确定概率/加权有限自动机（PFA/WFA）与RNN-LM之间距离与等价性问题是否可判定或计算上不可行。
• 将RNN可解释性结果推广至更广泛的架构，包括LSTM、GRU以及有限精度RNN。
• 为评估RNN符号化近似质量提供理论基础，这对安全关键应用至关重要。

提出的方法

• 通过将3-SAT可满足性问题归约，证明具有ReLU激活函数的一般RNN-LM与PFA/WFA之间等价性与距离计算的不可判定性。
• 构建一个无记忆的一阶RNN，仅含单个隐藏层与ReLU激活函数，以模拟PFA在输入字符串上的行为。
• 采用截点语言构造方法，通过阈值化RNN输出定义语言，从而实现与DFA和PFA语言的比较。
• 定义RNN与PFA在有限长度字符串上的输出分布之间Tchebychev（L∞）距离，以度量近似质量。
• 通过从3-SAT问题的归约，证明在有限支持下Tchebychev距离近似的NP难性，使用有理参数与有界精度。
• 通过证明核心构造仅依赖于输出偏置，而不依赖于内部循环动态，将NP难性结果推广至LSTM、GRU与有限精度RNN。

实验结果

研究问题

• RQ1 具有ReLU激活函数的一般加权一阶RNN-LM与概率/加权有限自动机（PFA/WFA）之间的等价性问题是否可判定？
• RQ2 PFA/WFA与加权RNN-LM所生成语言之间的距离是否可计算，且是否为递归的？
• RQ3 确定性有限自动机（DFA）与加权RNN-LM的截点语言之间的交集是否可判定？
• RQ4 当限制在输入字符串的有限支持下时，PFA/WFA与加权RNN-LM之间的等价性是否可判定？
• RQ5 在有限支持下，一致RNN-LM与PFA之间的Tchebychev距离近似是否可判定？其计算复杂度如何？

主要发现

• 具有ReLU激活函数的一般加权一阶RNN-LM与PFA/WFA之间的等价性问题是不可判定的。
• 作为推论，PFA/WFA与加权RNN-LM所生成语言之间的距离不是递归的。
• DFA与加权RNN-LM的截点语言之间的交集是不可判定的。
• 在有限支持下，PFA/WFA与加权RNN-LM之间的等价性问题是EXP-难的。
• 对于具有任意可计算激活函数的一致RNN-LM，Tchebychev距离近似是可判定的。
• 在有限支持下，一致RNN-LM与PFA之间的Tchebychev距离近似为NP-难，且该结果可推广至LSTM、GRU与有限精度RNN。