[論文レビュー] A Canonical Form for Weighted Automata and Applications to Approximate Minimization

Borja Balle, Prakash Panangaden+1 more|arXiv (Cornell University)|Jan 27, 2015

Machine Learning and Algorithms参考文献 26被引用数 4

ひとこと要約

本稿では、無限Hankel行列の特異値分解（SVD）を用いた重み付きオートマトン（WFA）の正規形を導入し、効率的な近似最小化を可能にする。主な貢献は、SVDに基づく正規形を切り詰めるアルゴリズムであり、状態数を削減しつつ、ℓ²ノルムにおける誤差の上限が保証されたより小さなオートマトンを生成する。

ABSTRACT

We study the problem of constructing approximations to a weighted automaton. Weighted finite automata (WFA) are closely related to the theory of rational series. A rational series is a function from strings to real numbers that can be computed by a finite WFA. Among others, this includes probability distributions generated by hidden Markov models and probabilistic automata. The relationship between rational series and WFA is analogous to the relationship between regular languages and ordinary automata. Associated with such rational series are infinite matrices called Hankel matrices which play a fundamental role in the theory of minimal WFA. Our contributions are: (1) an effective procedure for computing the singular value decomposition (SVD) of such infinite Hankel matrices based on their representation in terms of finite WFA; (2) a new canonical form for finite WFA based on this SVD decomposition; and, (3) an algorithm to construct approximate minimizations of a given WFA. The goal of our approximate minimization algorithm is to start from a minimal WFA and produce a smaller WFA that is close to the given one in a certain sense. The desired size of the approximating automaton is given as input. We give bounds describing how well the approximation emulates the behavior of the original WFA.

研究の動機と目的

• 重み付きオートマトン（WFA）の無限Hankel行列のSVDに基づく正規形の開発を目的とする。
• SVDに基づく正規形を切り詰めることで、状態数を減らしつつ誤差を制御する、WFAの近似最小化を可能にする。
• 元の有理系列と近似された系列の間のℓ²ノルムを用いた近似品質の理論的保証を提供する。
• 真の状態数が過大評価されている場合でも、より小さく効率的なモデルを可能にするために、機械学習におけるスペクトル学習アルゴリズムを支援する。
• 実現可能性仮定の範囲を超えて、非最小または過剰パラメータ化されたモデルを扱えるように、スペクトル手法の適用範囲を拡張する。

提案手法

• WFAの有限表現から、関連する無限Hankel行列のSVDを計算する。
• SVD分解から導かれる新しい正規形としての特異値オートマトン（SVA）を定義し、標準的なSVDの条件のもとで一意性を保証する。
• 行列代数とWFA最小化手順を活用して、任意の有理系列を実現するWFAからSVAを効率的に計算するアルゴリズムを構築する。
• SVAを上位k個の特異値のみを保持することで切り詰めるSVATruncationアルゴリズムを適用し、複雑性を低減したより小さなWFAを生成する。
• 近似誤差の尺度としてℓ²ノルムを用い、誤差の上限を捨て去られた特異値の二乗和から導出する。
• 双対性と余代数的原理を活用して、Brzozowski式最小化を近似設定に一般化し、理論的解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 有限WFA表現から、無限Hankel行列のSVDを効率的に計算できるか？
• RQ2 Hankel行列のSVDによって一意に定まるWFAの正規形は存在するか？
• RQ3 ℓ²ノルムにおける誤差が有界であるような、WFAの近似最小化アルゴリズムを構築できるか？
• RQ4 近似誤差はHankel行列の特異値とどのように関係するか？
• RQ5 提案手法は、重み付き木オートマトンや文脈自由文法などの他の定量的システムへ拡張可能か？

主な発見

• 無限Hankel行列のSVDを、行列の明示的構築を避けてWFAから直接効率的に計算するアルゴリズムが提示された。
• 特異値オートマトン（SVA）は、行列のSVDに類似したWFAの一意な正規形を提供する。
• SVATruncationアルゴリズムは、ユーザー指定の状態数を持つ近似WFAを生成し、誤差が捨て去られた特異値の二乗和で上限が保証される。
• ℓ²ノルムにおける近似誤差は、‖f − f̂‖₂ ≤ √(∑_{i=k+1}^∞ σ_i²) で上限が保証され、ここでσ_iはHankel行列の特異値である。
• 真のモデルの複雑さが過大評価されている場合でも、PAC学習における一貫性と有限標本保証を可能にする。
• SVA計算の計算コストはO(n⁶)であり、WFA最小化を用いる代替手法はO(n⁸)であるため、可能な限り前者を使用する根拠が得られた。