[論文レビュー] A Universal Kernel for Learning Regular Languages

Leonid, Kontorovich|ArXiv.org|Dec 5, 2007

Machine Learning and Algorithms参考文献 1被引用数 8

ひとこと要約

本稿では、すべての正則言語を高次元特徴空間で線形分離可能にする普遍カーネルを導入し、制限のない正則言語の学習にサポートベクターマシン（SVM）手法を適用可能にする。正確なカーネルは計算が非効率であるが、決定的有限オートマトン（DFAs）のランダムサンプリングを用いたモンテカルロベースの$5$-近似を提供しており、多項式的サンプル複雑性を満たす確率的精度を保証する。

ABSTRACT

We give a universal kernel that renders all the regular languages linearly separable. We are not able to compute this kernel efficiently and conjecture that it is intractable, but we do have an efficient $\eps$-approximation.

研究の動機と目的

• すべての正則言語が特徴空間で線形分離可能になる普遍カーネルの開発を目的とする。
• 正則言語の学習において、このようなカーネルを直接計算することが計算的に非効率であるという問題に取り組む。
• モンテカルロによるDFAsのサンプリングを用いて、普遍カーネルの効率的かつ確率的境界付き近似を提供する。
• カーネル法およびSVMを、制限なしの正則言語の教師なし学習に応用可能にする。
• 言語学習の文脈におけるマージンに基づく一般化の理論的基盤を確立する。

提案手法

• すべての正則言語が線形分離可能であることを保証する、$n$状態のDFAsが同時に文字列$x$と$y$を受け入れる数として定義される普遍カーネル$K_n(x,y)$を提案する。
• 有限サポートを持つ特徴写像$\phi$の構築に、補助埋め込み（$\chi$および$\alpha$）の直和を用いることで、線形分離性を実現する。
• モンテカルロシミュレーションを用いて、$x$と$y$の両方を受け入れる$n$状態のDFAsの割合$P_n(x,y)$を、オートマトンの均一ランダムサンプリングにより近似する。
• チェルノフの不等式を用いて、$P_n(x,y)$の$\epsilon$-近似$\hat{K}_n(x,y) = \hat{P}_n(x,y) \cdot |\text{DFA}(n)|$が高確率で得られることを導出する。
• $P_n(x,y) \in [1/4, 1/2]$がすべての$x,y$に対して成り立つことから、$\epsilon$-近似に必要なサンプル数が$1/\epsilon$に関して多項式的であることが保証される。
• 近似を用いて、マージン最大化による一般化保証付きのSVMベースの学習が可能なカーネルを構築する。

実験結果

リサーチクエスチョン

• RQ1 すべての正則言語が特徴空間で線形分離可能になるような単一のカーネルを構築できるか？
• RQ2 普遍カーネルは多項式時間で計算可能か、それとも本質的に非効率的か？
• RQ3 普遍カーネルの効率的かつ確率的に正確な近似を構築できるか？
• RQ4 高確率で$\epsilon$-近似を得るためのサンプル複雑性はどの程度か？
• RQ5 このカーネルフレームワークを用いた正則言語の学習に対して、マージンに基づく一般化境界を導出できるか？

主な発見

• $n$状態のDFAsが同時に$x$と$y$を受け入れる数として定義される普遍カーネル$K_n(x,y)$は、すべての正則言語が線形分離可能であることを保証する。
• 関係するDFAsの数が超指数的であるため、正確なカーネルの計算は非効率である。
• DFAsのモンテカルロサンプリングにより、$\epsilon$-近似が効率的に達成され、サンプル複雑性が$m = O(\epsilon^{-2} \log(1/\alpha))$となる。
• チェルノフの不等式を用いて近似誤差が高確率で有界に保たれ、$\epsilon$-相対的精度が保証される。
• 両方の文字列を受け入れるDFAsの割合$P_n(x,y)$は下から$1/4$で抑えられており、サンプル数の指数的増加を防ぐ。
• 得られたカーネルにより、一般化保証付きのSVMベースの正則言語学習が可能となり、カーネル法を用いた制限なし正則言語の教師なし学習の初のアプローチを実現する。