[논문 리뷰] Incremental construction of minimal acyclic finite-state automata

Jan Daciuk, Stoyan Mihov외 2명|ArXiv.org|2000. 07. 06.

semigroups and automata theory참고 문헌 4인용 수 51

한 줄 요약

이 논문은 단일 패assing에서 문자열 집합으로부터 최소화된 결정론적 비순환 유한상태자동기(다시 말해, DAFSA)를 구성하기 위한 새로운 증분 알고리즘을 제시한다. 기존의 두 단계(trie 구축 및 최소화) 방식을 피함으로써, 삽입 과정 중 실시간으로 동일한 상태를 병합함으로써 메모리 사용량과 구축 시간을 크게 줄였다. 특히 입력 문자열이 사전순으로 정렬되어 있을 경우 이점이 두드러진다.

ABSTRACT

In this paper, we describe a new method for constructing minimal, deterministic, acyclic finite-state automata from a set of strings. Traditional methods consist of two phases: the first to construct a trie, the second one to minimize it. Our approach is to construct a minimal automaton in a single phase by adding new strings one by one and minimizing the resulting automaton on-the-fly. We present a general algorithm as well as a specialization that relies upon the lexicographical ordering of the input strings.

연구 동기 및 목표

• 단일 증분 단계에서 최소화된 결정론적 비순환 유한상태자동기를 구성하는 방법을 개발함으로써 별도의 최소화 단계가 필요 없도록 하는 것.
• 새로운 문자열이 추가될 때마다 동적으로 최소성을 유지함으로써 자동기 구축 중 메모리 소비를 줄이는 것.
• 기존의 두 단계 방법(트라이 구축 후 최소화)보다 성능을 향상시키며, 특히 시간 및 공간 효율성 측면에서 향상시키는 것.
• 사전순으로 정렬된 입력 데이터를 이용해 최소 사전을 효율적으로 구축하기 위해 특수화된 알고리즘을 통해 lexicographical 순서를 활용하는 것.
• 스펠 체킹, 형태소 분석, DNA 서열 매칭과 같은 실용적 응용을 위해 압축된 최소 자동기 표현을 지원하는 것.

제안 방법

• 알고리즘은 문자열을 하나씩 증분 삽입하면서 상태 레지스터를 유지하고, 동적으로 동일한 상태를 유니온-파인드 유사 자료구조를 사용해 병합함으로써 최소성을 보장한다.
• 정렬된 입력에 대해선 lexicographical 순서를 활용하여 삽입 시 오직 하나의 경로만 수정됨을 보장함으로써 실시간 최소화를 효율적으로 수행한다.
• 핵심 데이터 구조는 상태 등가 클래스의 매핑을 유지하며, 각 상태의 오른쪽 언어(즉, 해당 상태에서 도달 가능한 접미사 집합)에 기반해 상태를 등록하거나 교체하는 연산을 수행한다.
• 상태의 오른쪽 언어는 재귀적으로 정의되며, $ \stackrel{{\scriptstyle\rightarrow}}{{\cal L}}(q) = \{a \cdot \stackrel{{\scriptstyle\rightarrow}}{{\cal L}}(\delta(q,a)) \mid \delta(q,a) \neq \bot\} \cup \{\varepsilon\} $ (q ∈ F 이면), 그렇지 않으면 $ \emptyset $ 이다. 이를 통해 상태의 등가성을 판단한다.
• 상태 등가성을 유지하기 위해 `replace_or_register` 함수를 사용하며, 해시 테이블 또는 균형 잡힌 이진 트리를 사용해 상태 연산의 시간 복잡도를 $ \mathcal{O}(\log n) $ 으로 보장한다.
• 동일한 오른쪽 언어를 가진 상태를 감지하고 병합함으로써 중복 상태를 저장하지 않으며, 최종 자동기는 구성 과정에서 최소화됨을 보장한다.

실험 결과

연구 질문

• RQ1 별도의 최소화 단계 없이 증분적으로 최소화된 결정론적 비순환 유한상태자동기를 구성할 수 있는가?
• RQ2 삽입 과정에 최소화를 통합함으로써 자동기 구축의 메모리 및 시간 복잡도를 어떻게 줄일 수 있는가?
• RQ3 증분 구축 중에 입력 문자열의 lexicographical 순서를 활용함으로써 어떤 성능 향상을 얻을 수 있는가?
• RQ4 실시간 상태 병합이 중간 단계의 상태 폭발을 줄이면서 최소성을 얼마나 잘 유지하는가?
• RQ5 이 알고리즘은 트랜스듀서 구축 및 기타 고급 유한상태 연산을 지원하도록 확장될 수 있는가?

주요 결과

• 알고리즘은 별도의 최소화 후처리 단계 없이 단일 증분 단계에서 최소 DAFSA를 구성한다.
• 정렬된 입력에 대해서는 삽입당 오직 하나의 경로만 수정되므로 최적의 성능을 달성하며, 정렬되지 않은 입력에 비해 시간 복잡도가 크게 향상된다.
• 기존의 두 단계 방법에 비해 메모리 사용량이 극적으로 감소했으며, 논문은 이 방법이 점근적으로 최소화되며 상당히 메모리 효율적이라고 주장한다.
• 이전 알고리즘보다 구축 시간이 크게 빠르며, 특히 삽입 후 전체 최소화 단계가 필요한 방법들과 비교했을 때 두드러진 성능 향상을 보였다.
• 구현은 C++ 및 자바로 제공되어 연구 및 상용 응용 분야에서 사용 가능하며, 트랜스듀서 구축, 완벽한 해싱, 사전 연산 등의 실용적 확장 기능을 지원한다.
• 자연어 처리, DNA 서열 매칭, 컴퓨터 바이러스 탐지 등 다양한 분야에 성공적으로 적용되었으며, 사전 구축을 넘어서 광범위한 응용 가능성을 입증했다.