[论文解读] Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples

Gail Garfinkel Weiss, Yoav Goldberg+1 more|arXiv (Cornell University)|Nov 27, 2017

Machine Learning and Algorithms参考文献 18被引用 61

一句话总结

该论文提出基于精确学习的方法，使用 Angluin 的 L* 算法和 RNNs 作为 oracle 来提取描述 RNN 状态动态的确定性有限自动机，并对等价查询进行抽象以回答。

ABSTRACT

We present a novel algorithm that uses exact learning and abstraction to extract a deterministic finite automaton describing the state dynamics of a given trained RNN. We do this using Angluin's L* algorithm as a learner and the trained RNN as an oracle. Our technique efficiently extracts accurate automata from trained RNNs, even when the state vectors are large and require fine differentiation.

研究动机与目标

• 激发并形式化从有限字母表中提取一个 DFA，使其镜像训练好的 RNN 接收器可观察行为的问题。
• 提出一个将精确学习（L* 算法）与对 RNN 的有限状态抽象相结合的通用框架，以回答等价查询。
• 证明该方法能够产生小型、准确的 DFA，并揭示指示 RNN 泛化差距的对抗性输入。

提出的方法

• 将训练好的 RNN 当作 L* 的教师，通过用 RNN 的分类来回答成员资格查询。
• 使用 RNN 状态空间的有限抽象 A^{R,p} 来对抗 L* 生成的 DFA A 的等价查询作出回答，并在需要时细化分区 p。
• 通过基于支持向量机(SVM)的分割细化抽象，以分离 R-状态并产生新的 A-状态，确保细化由具体输入所证实。
• 在 RNN 与当前 DFA 或其抽象之间出现分类冲突时返回对例，确保所提取自动机的正确性。
• 利用最短的对例以保持 DFA 的紧凑并提高提取的自动机的泛化能力。

实验结果

研究问题

• RQ1 是否可以通过将 RNN 作为 oracle，使用精确学习来学习一个在可观测上等价于训练好的 RNN 接收器的 DFA？
• RQ2 如何使用高维 RNN 状态空间的有限抽象来回答等价查询，同时不牺牲正确性？
• RQ3 提取的 DFA 是否对长序列具有泛化性，且该过程是否能揭示对抗性输入或 RNN 的错误泛化？
• RQ4 哪些细化策略（例如基于 SVM 的分区）在 DFA 大小与对 RNN 的一致性之间实现最佳平衡？
• RQ5 所提出的方法与以往的量化或随机采样方法在从 RNN 合成紧凑、准确的自动机方面有何比较？

主要发现

• 该方法在几秒内从在 Tomita 语法及更复杂语言上训练的 GRU/LSTM 网络中提取出准确、且往往较小的 DFA。
• 基于量化的分区产生非常大、通常不可实用规模的 DFA，而所提出的基于 L* 的抽象方法能生成紧凑且准确的自动机。
• 该方法揭示对抗性输入和泛化差距，随机采样可能错过，包括对看似完美模型的错误分类对例。
• 提取的 DFA 对长序列具有良好泛化能力（实验长度达 1000），尽管训练/测试准确率与网络相当。
• 该框架在多种架构和语言下均有效，突出其对特定网络类型以外的鲁棒适用性。