[论文解读] Learning Deterministic Weighted Automata with Queries and Counterexamples

Gail Garfinkel Weiss, Yoav Goldberg+1 more|arXiv (Cornell University)|Oct 30, 2019

Machine Learning and Algorithms被引用 24

一句话总结

该论文提出 WL*，一种基于查询的算法，用于从黑箱语言模型（如 RNN）中学习概率性确定性有限自动机（PDFAs），通过使用带有容差的条件概率比较的成员查询和等价查询。与谱方法相比，它在词错误率（WER）和 NDCG 上表现更优，同时生成紧凑、可解释且确定性的模型，其行为在用户定义的容差范围内与 RNN 一致。

ABSTRACT

We present an algorithm for extraction of a probabilistic deterministic finite automaton (PDFA) from a given black-box language model, such as a recurrent neural network (RNN). The algorithm is a variant of the exact-learning algorithm L*, adapted to a probabilistic setting with noise. The key insight is the use of conditional probabilities for observations, and the introduction of a local tolerance when comparing them. When applied to RNNs, our algorithm often achieves better word error rate (WER) and normalised distributed cumulative gain (NDCG) than that achieved by spectral extraction of weighted finite automata (WFA) from the same networks. PDFAs are substantially more expressive than n-grams, and are guaranteed to be stochastic and deterministic - unlike spectrally extracted WFAs.

研究动机与目标

• 开发一种从训练好的 RNN 等黑箱语言模型中提取可解释、确定性且随机的 PDFAs 的方法。
• 解决谱学习和 n-gram 模型在捕捉非局部依赖关系方面存在的局限性，并确保模型的随机性和确定性。
• 在提取过程中实现任意时间终止，同时保持正确性保证和与目标模型的局部相似性。
• 将 L* 算法扩展到带权、概率性设置，并引入对噪声或近似比较的容差。
• 提供一个通用框架，适用于任何加权有限自动机（包括 Transformer），而不仅限于 RNN。

提出的方法

• 通过引入条件概率查询和带有容差阈值的等价性检查，将 L* 算法适配到带权、概率性设置中。
• 使用成员查询获取给定序列前缀下一次令牌的概率，使用等价查询将假设与目标模型进行验证。
• 引入局部容差 $ t \in [0,1] $ 来比较概率向量，允许合并相似状态，从而减少自动机规模。
• 使用条件概率构建观测表，以避免在低概率区域出现概率消失的问题。
• 通过允许在早期停止提取过程，实现任意时间终止，并保证与目标模型的局部相似性。
• 采用基于容差的比较方法，其非传递性要求在从观测表构建 PDFA 时进行仔细处理。

实验结果

研究问题

• RQ1 基于查询的学习算法能否有效从黑箱 RNN 语言模型中提取概率性确定性有限自动机（PDFA）？
• RQ2 L* 算法应如何改进以处理具有噪声或近似概率估计的带权、概率性自动机？
• RQ3 引入容差阈值对提取的 PDFA 的规模和准确性有何影响？
• RQ4 在合成和真实语言任务中，提取的 PDFA 与谱学习和 n-gram 基线在 WER 和 NDCG 上的表现如何比较？
• RQ5 该算法能否在保证正确性和局部相似性的同时实现早期终止？

主要发现

• 对于基于 Tomita 语法的 RNN，WL* 在约一分钟内成功重建了与原始目标结构完全相同的 PDFAs，实现了完美或接近完美的 WER 和 NDCG。
• 在 UHL 语言上，WL* 在所有三个测试案例中均达到 WER = 0.0 和 NDCG = 1.0，优于谱学习和 n-gram 方法。
• 对于 UHL 1，WL* 在 15 秒内实现 WER = 0.0 和 NDCG = 1.0，PDFA 大小为 9，而谱学习耗时 56 秒且模型更大（k=150）。
• 对于 UHL 2，WL* 在 73 秒内实现 WER = 0.0 和 NDCG = 1.0，PDFA 大小为 5，显著优于 n-grams（WER = 0.12，NDCG = 0.94）和谱学习（WER = 0.002）。
• 对于 UHL 3，WL* 在 55 秒内实现 WER = 0.0 和 NDCG = 1.0，PDFA 大小为 4，而谱学习耗时 71 秒且模型更大（k=17）。
• n-grams 在简单、局部的语言上表现良好，但在非局部语言上失败，凸显了 PDFAs 在捕捉长距离依赖关系方面的优势。