[논문 리뷰] A Canonical Form for Weighted Automata and Applications to Approximate Minimization

Borja Balle, Prakash Panangaden외 1명|arXiv (Cornell University)|2015. 01. 27.

Machine Learning and Algorithms참고 문헌 26인용 수 4

한 줄 요약

이 논문은 가중치 자동기계의 무한 헨켈 행렬에 대한 특이값 분해(SVD)를 사용하여 표준형을 도입하며, 이는 효율적인 근사 최소화를 가능하게 한다. 주요 기여는 SVD 기반 표준형을 잘라내어 상태 수를 줄인 더 작은 자동기를 생성하면서도 ℓ² 노름에서 증명 가능한 오차 한계를 보장하는 알고리즘을 제안하는 것이다.

ABSTRACT

We study the problem of constructing approximations to a weighted automaton. Weighted finite automata (WFA) are closely related to the theory of rational series. A rational series is a function from strings to real numbers that can be computed by a finite WFA. Among others, this includes probability distributions generated by hidden Markov models and probabilistic automata. The relationship between rational series and WFA is analogous to the relationship between regular languages and ordinary automata. Associated with such rational series are infinite matrices called Hankel matrices which play a fundamental role in the theory of minimal WFA. Our contributions are: (1) an effective procedure for computing the singular value decomposition (SVD) of such infinite Hankel matrices based on their representation in terms of finite WFA; (2) a new canonical form for finite WFA based on this SVD decomposition; and, (3) an algorithm to construct approximate minimizations of a given WFA. The goal of our approximate minimization algorithm is to start from a minimal WFA and produce a smaller WFA that is close to the given one in a certain sense. The desired size of the approximating automaton is given as input. We give bounds describing how well the approximation emulates the behavior of the original WFA.

연구 동기 및 목표

• 가중치 자동기계(WFA)의 무한 헨켈 행렬에 대한 SVD를 기반으로 한 표준형을 개발한다.
• SVD 기반 표준형을 잘라내어 상태 수를 줄이고 오차를 통제하면서 WFA의 근사 최소화를 가능하게 한다.
• 원본 및 근사된 유리 함수열 간의 ℓ² 노름을 사용하여 근사 품질에 대한 이론적 보장을 제공한다.
• 진짜 상태 수가 과대추정되었을 경우에도 더 작고 효율적인 모델을 가능하게 하여 기계학습에서 스펙트럴 학습 알고리즘을 지원한다.
• 실현 가능성 가정을 초월하여 비최소 또는 과다파rameter화된 모델을 다룰 수 있도록 스펙트럴 방법의 적용 가능성을 확장한다.

제안 방법

• 유한한 WFA 표현을 통해 가중치 자동기계와 관련된 무한 헨켈 행렬의 SVD를 계산한다.
• 표준 SVD 조건을 만족할 때 유일성을 보장하는 SVD 분해에서 유도된 새로운 표준형인 특이값 자동기계(SVA)를 정의한다.
• 행렬 대수와 WFA 최소화 절차를 활용하여 주어진 유리 함수열을 실현하는 임의의 WFA로부터 SVA를 효율적으로 계산하는 알고리즘을 구축한다.
• SVA에서 상위-k개의 특이값만 유지하여 SVA를 잘라내는 SVATruncation 알고리즘을 적용함으로써 복잡도가 낮은 더 작은 WFA를 도출한다.
• 근사 오차의 척도로 ℓ² 노름을 사용하며, 기저에 포함되지 않은 특이값의 제곱합으로부터 유도된 오차 한계를 적용한다.
• 쌍대성과 코알제브라 원리를 활용하여 브조조프스키 스타일 최소화를 근사 설정으로 일반화함으로써 이론적 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 유한한 WFA 표현에서 무한 헨켈 행렬의 SVD를 효율적으로 계산할 수 있는가?
• RQ2 WFA에 대해 그 헨켈 행렬의 SVD에 의해 유일하게 결정되는 표준형이 존재하는가?
• RQ3 ℓ² 노름에서 유한한 오차를 보장하는 WFA의 근사 최소화 알고리즘을 구성할 수 있는가?
• RQ4 근사 오차는 헨켈 행렬의 특이값과 어떻게 관련이 있는가?
• RQ5 제안된 방법은 가중치 트리 자동기계 또는 문맥 자유 문법과 같은 다른 정량적 시스템으로 확장될 수 있는가?

주요 결과

• 직접적인 행렬 구축을 피하기 위해 유한한 WFA 표현에서 무한 헨켈 행렬의 SVD를 효율적으로 계산하는 알고리즘을 제시한다.
• 특이값 자동기계(SVA)는 행렬의 SVD와 유사하게 WFA에 대해 유일한 표준형을 제공한다.
• SVATruncation 알고리즘은 사용자가 지정한 상태 수를 가진 근사 WFA를 생성하며, 기저에 포함되지 않은 특이값의 제곱합으로 오차가 유계임을 보장한다.
• ℓ² 노름에서의 근사 오차는 ‖f − f̂‖₂ ≤ √(∑_{i=k+1}^∞ σ_i²)로 유계이며, 여기서 σ_i는 헨켈 행렬의 특이값이다.
• 진짜 모델 복잡도가 과대추정되었을 경우에도 일관되고 유한 표본 보장을 제공하여 PAC 학습에서의 적용 가능성을 높인다.
• SVA 계산의 계산 비용은 O(n⁶)이며, WFA 최소화를 활용하는 대체 방법은 O(n⁸)이므로, 가능한 한 첫 번째 방법을 사용하는 것이 타당하다.