[论文解读] A Canonical Form for Weighted Automata and Applications to Approximate Minimization

Borja Balle, Prakash Panangaden+1 more|arXiv (Cornell University)|Jan 27, 2015

Machine Learning and Algorithms参考文献 26被引用 4

一句话总结

本文提出了一种基于其无限Hankel矩阵的奇异值分解（SVD）的加权自动机（WFA）规范形式，实现了高效的近似最小化。关键贡献是一种算法，通过截断基于SVD的规范形式，生成状态更少的自动机，并在ℓ²范数下提供可证明的误差界。

ABSTRACT

We study the problem of constructing approximations to a weighted automaton. Weighted finite automata (WFA) are closely related to the theory of rational series. A rational series is a function from strings to real numbers that can be computed by a finite WFA. Among others, this includes probability distributions generated by hidden Markov models and probabilistic automata. The relationship between rational series and WFA is analogous to the relationship between regular languages and ordinary automata. Associated with such rational series are infinite matrices called Hankel matrices which play a fundamental role in the theory of minimal WFA. Our contributions are: (1) an effective procedure for computing the singular value decomposition (SVD) of such infinite Hankel matrices based on their representation in terms of finite WFA; (2) a new canonical form for finite WFA based on this SVD decomposition; and, (3) an algorithm to construct approximate minimizations of a given WFA. The goal of our approximate minimization algorithm is to start from a minimal WFA and produce a smaller WFA that is close to the given one in a certain sense. The desired size of the approximating automaton is given as input. We give bounds describing how well the approximation emulates the behavior of the original WFA.

研究动机与目标

• 基于其无限Hankel矩阵的SVD，为加权自动机（WFA）开发一种规范形式。
• 通过截断基于SVD的规范形式，实现WFA的近似最小化，减少状态数量的同时控制误差。
• 利用原始与近似有理序列之间的ℓ²范数，提供近似质量的理论保证。
• 通过支持谱学习算法，使机器学习中的模型更小、更高效，即使真实状态数被高估也能适用。
• 通过处理非最小化或过参数化的模型，将谱方法的适用范围扩展到超越可实现性假设的场景。

提出的方法

• 利用加权自动机的有限WFA表示，计算其关联的无限Hankel矩阵的SVD。
• 将奇异值自动机（SVA）定义为一种新的规范形式，由SVD分解导出，在标准SVD条件下确保唯一性。
• 构建一种高效算法，从任意实现给定有理序列的WFA计算SVA，利用矩阵代数和WFA最小化过程。
• 应用SVATruncation算法，仅保留前k个奇异值，对SVA进行截断，从而生成复杂度更低的更小WFA。
• 使用ℓ²范数作为近似误差的度量，其边界由被舍弃的奇异值的平方和导出。
• 利用对偶性和共代数原理，将Brzozowski风格的最小化推广至近似设置，支持理论分析。

实验结果

研究问题

• RQ1 能否从有限WFA表示中高效计算无限Hankel矩阵的SVD？
• RQ2 是否存在一种WFA的规范形式，其由Hankel矩阵的SVD唯一确定？
• RQ3 能否构建一种WFA的近似最小化算法，保证在ℓ²范数下的有界误差？
• RQ4 近似误差与Hankel矩阵的奇异值之间有何关系？
• RQ5 该方法能否扩展到其他定量系统，如加权树自动机或上下文无关语法？

主要发现

• 提出了一种高效算法，可直接从WFA计算无限Hankel矩阵的SVD，避免显式构造矩阵。
• 奇异值自动机（SVA）为WFA提供了唯一的规范形式，类似于矩阵的SVD。
• SVATruncation算法生成一个用户指定状态数的近似WFA，其误差由被舍弃奇异值的平方和界定。
• ℓ²范数下的近似误差满足 ‖f − f̂‖₂ ≤ √(∑_{i=k+1}^∞ σ_i²)，其中 σ_i 为Hankel矩阵的奇异值。
• 即使真实模型复杂度被高估，该方法仍能在PAC学习中提供一致且有限样本的保证。
• SVA计算的计算成本为 O(n⁶)，而使用WFA最小化的替代方法为 O(n⁸)，因此在可能时应优先使用前者。