[논문 리뷰] Speech Recognition by Composition of Weighted Finite Automata

Fernando C. N. Pereira, Michael Riley|ArXiv.org|1996. 03. 07.

Machine Learning and Algorithms참고 문헌 9인용 수 52

한 줄 요약

이 논문은 가중 유한 오토마타(WFAs)와 전이기반 변환기를 사용한 통합 프레임워크를 소개하며, 음성 인식에서 음향 모델, 발음 모델, 언어 모델의 효율적 조합을 가능하게 한다. 디코딩 중에 동적으로 모델을 조합하기 위해 단일 레이지 조합 알고리즘을 적용함으로써 높은 효율성과 확장성을 달성하여, 대규모 어휘 작업에서 메모리 사용을 최대 95%까지 줄였으며 경쟁력 있는 단어 오류율을 유지한다.

ABSTRACT

We present a general framework based on weighted finite automata and weighted finite-state transducers for describing and implementing speech recognizers. The framework allows us to represent uniformly the information sources and data structures used in recognition, including context-dependent units, pronunciation dictionaries, language models and lattices. Furthermore, general but efficient algorithms can used for combining information sources in actual recognizers and for optimizing their application. In particular, a single composition algorithm is used both to combine in advance information sources such as language models and dictionaries, and to combine acoustic observations and information sources dynamically during recognition.

연구 동기 및 목표

• 음향 모델, 사전, 언어 모델, 레이티스와 같은 음성 인식 구성 요소를 가중 유한 오토마타와 전이기반 변환기를 통합적으로 표현하는 것.
• 사전 및 동적 디코딩 시 모두 적용 가능한 일반적이고 효율적인 조합 알고리즘 개발.
• 기존의 특수한 대체 기법에 의존하지 않고도 더 높은 수준의 단위를 넘어서서 문맥 의존 모델링을 가능하게 하는 것.
• 레이지 조합과 실시간 정제 기법을 통해 대규모 어휘 음성 인식에서 계산 및 메모리 비용을 줄이는 것.

제안 방법

• 음성 인식을 가중 전이기반 변환의 연쇄로 모델링하며, 각 단계는 음소, 음절, 어휘 등의 표현 수준에 대응한다.
• 단일 조합 알고리즘을 사용해 전이기반 변환기를 조합함으로써 사전 조합 및 인식 중 동적 조합을 모두 가능하게 한다.
• 레이지 조합 기법을 통해 전체 조합된 오토마타를 명시적으로 구성하지 않으며, 검색 중에 관련 경로만 생성한다.
• 조합된 오토마타의 전이를 정렬 및 색인 기법을 활용해 효율적으로 매칭한다. 이는 관계형 조인과 유사하다.
• 비결정성으로 인한 상태 수 증가 문제를 줄이기 위해 실시간 최소화 및 결정화를 지원한다.
• 기존의 가중 유리언 언어 및 전이 이론을 활용하여, 합집합, 연결, 교차와 같은 표준 연산을 가중 설정으로 일반화한다.

실험 결과

연구 질문

• RQ1 음향 모델, 발음 사전, 언어 모델 등의 음성 인식 구성 요소를 단일 형식론을 통해 어떻게 통일적으로 표현하고 조합할 수 있는가?
• RQ2 사전 조합과 동적 디코딩 모두에 사용 가능한 단일 조합 알고리즘이 효율성과 일관성을 향상시키는 데 기여할 수 있는가?
• RQ3 대규모 어휘 음성 인식에서 큰 오토마타를 조합할 때 계산 비용을 어떻게 줄일 수 있는가?
• RQ4 레이지 조합을 통해 전체 조합된 오토마타를 저장하지 않아도 되는 정도는 어느 정도이며, 메모리와 시간 간의 상충 관계는 어떠한가?
• RQ5 이 프레임워크는 기존의 대체 기반 방법과 달리 단어나 음절 경계를 넘는 문맥 의존 모델을 자연스럽게 지원할 수 있는가?

주요 결과

• 다중 패assing 디코딩 전략과 정제된 레이티스를 사용하여, 60,000어휘의 ARPA 북미 비즈니스 뉴스(NAB) 작업에서 약 10%의 단어 오류율을 달성했다.
• ARPA ATIS 작업에서 조합된 오토마타의 6×10⁶개 전이 중 약 5%만이 문장당 실제로 방문되었으며, 이는 레이지 조합의 높은 희박성과 효율성을 보여준다.
• 레이지 조합는 전통적인 전체 전개 방식과 비교해도 빠르거나 동일한 속도를 기록했으며, 메모리 사용은 극히 소량이었다.
• 다중 패assing 디코딩에서 정제된 레이티스를 사용함으로써 전체 모델과의 조합 크기를 줄여 확장성을 향상시켰다.
• 특수한 대체 기법 없이도 자연스럽게 단어를 넘는 문맥 의존 모델링을 지원하여, 음소 변형의 더 정확한 모델링이 가능했다.
• 구현 사례는 대규모 모델, 예를 들어 3,400만 개의 전이를 가진 5-gram 언어 모델과 50만 개의 전이를 가진 음소에서 음절로의 전이기반 변환기까지도 확장 가능함을 입증했다.