[论文解读] A Universal Kernel for Learning Regular Languages

Leonid, Kontorovich|ArXiv.org|Dec 5, 2007

Machine Learning and Algorithms参考文献 1被引用 8

一句话总结

本文提出一种通用核函数，可使所有正则语言在高维特征空间中线性可分，从而实现支持向量机（SVM）方法对无限制正则语言的学习。尽管该精确核函数难以计算，作者通过基于蒙特卡洛的 $5$-近似方法，利用确定性有限自动机（DFAs）的随机采样，实现了高效计算，且在多项式样本复杂度下保证了概率准确性。

ABSTRACT

We give a universal kernel that renders all the regular languages linearly separable. We are not able to compute this kernel efficiently and conjecture that it is intractable, but we do have an efficient $\eps$-approximation.

研究动机与目标

• 开发一种通用核函数，使所有正则语言在特征空间中线性可分。
• 解决直接计算此类核函数以学习正则语言时的计算不可行性问题。
• 通过DFA的蒙特卡洛采样，提供一种高效且具有概率边界的通用核函数近似。
• 使核方法与SVM能够应用于无限制正则语言的无监督学习。
• 为语言学习背景下基于间隔的泛化性提供理论基础。

提出的方法

• 提出一种通用核函数 $K_n(x,y)$，定义为同时接受字符串 $x$ 和 $y$ 的 $n$-状态DFA的数量，确保所有正则语言的线性可分性。
• 通过两个辅助嵌入（$\chi$ 和 $\alpha$）的直和构造有限支撑的特征映射 $\phi$，以实现线性可分性。
• 使用蒙特卡洛模拟通过均匀随机采样自动机来近似 $P_n(x,y)$，即同时接受 $x$ 和 $y$ 的 $n$-状态DFA的比例。
• 利用切尔诺夫不等式，以高概率推导出 $\epsilon$-近似 $\hat{K}_n(x,y) = \hat{P}_n(x,y) \cdot |\text{DFA}(n)|$。
• 证明对所有 $x,y$，有 $P_n(x,y) \in [1/4, 1/2]$，确保近似仅需在 $1/\epsilon$ 上为多项式量级的样本数。
• 利用该近似构建一个核函数，使基于SVM的学习可通过间隔最大化实现泛化保证。

实验结果

研究问题

• RQ1 能否构造一个单一核函数，使得所有正则语言在特征空间中线性可分？
• RQ2 该通用核函数是否可在多项式时间内计算，还是本质上不可行？
• RQ3 能否构造一种高效且具有概率准确性的通用核函数近似？
• RQ4 以高概率实现 $\epsilon$-近似所需的样本复杂度是多少？
• RQ5 能否基于此核函数框架，为使用SVM学习正则语言推导出基于间隔的泛化界？

主要发现

• 定义为同时接受 $x$ 和 $y$ 的 $n$-状态DFA数量的通用核函数 $K_n(x,y)$，可确保所有正则语言线性可分。
• 由于涉及的DFA数量呈超指数级增长，该核函数无法精确计算。
• 通过DFA的蒙特卡洛采样，实现了高效的 $\epsilon$-近似，样本复杂度为 $m = O(\epsilon^{-2} \log(1/\alpha))$。
• 利用切尔诺夫不等式，以高概率界定了近似误差，确保了 $\epsilon$-相对精度。
• 接受 $x$ 和 $y$ 的DFA比例 $P_n(x,y)$ 有下界 $1/4$，从而防止样本数量出现指数级膨胀。
• 由此得到的核函数使基于SVM的正则语言学习具备泛化保证，标志着首次利用核方法实现无限制正则语言的无监督学习。