[논문 리뷰] CAT: CRF-based ASR Toolkit

Keyu An, Hongyu Xiang외 1명|arXiv (Cornell University)|2019. 11. 20.

Speech Recognition and Synthesis참고 문헌 30인용 수 10

한 줄 요약

CAT는 CTC 유사 상태 구조를 활용한 판별적 훈련을 통해 중국어(Aishell) 및 영어(Switchboard) 벤치마크에서 경쟁적인 엔드 투 엔드 모델보다 적은 파라미터로 최신 기술 수준의 성능을 달성하는 오픈소스, CRF 기반 엔드 투 엔드 음성 인식 툴킷이다. PyTorch를 사용하여 딥 네ural 네트워크 훈련을 통합하고, i-vector 발화자 적응 및 지연 시간 제어가 가능한 단방향 추론과 같은 유연한 확장 기능을 지원한다.

ABSTRACT

In this paper, we present a new open source toolkit for automatic speech recognition (ASR), named CAT (CRF-based ASR Toolkit). A key feature of CAT is discriminative training in the framework of conditional random field (CRF), particularly with connectionist temporal classification (CTC) inspired state topology. CAT contains a full-fledged implementation of CTC-CRF and provides a complete workflow for CRF-based end-to-end speech recognition. Evaluation results on Chinese and English benchmarks such as Switchboard and Aishell show that CAT obtains the state-of-the-art results among existing end-to-end models with less parameters, and is competitive compared with the hybrid DNN-HMM models. Towards flexibility, we show that i-vector based speaker-adapted recognition and latency control mechanism can be explored easily and effectively in CAT. We hope CAT, especially the CRF-based framework and software, will be of broad interest to the community, and can be further explored and improved.

연구 동기 및 목표

• 하이브리드 DNN-HMM 모델의 정확성과 엔드 투 엔드 훈련의 단순성을 결합한 유연하고 오픈소스의 ASR 툴킷을 개발한다.
• CTC 유사 상태 구조를 활용한 조건부 랜덤 필드(CRF) 프레임워크 내에서 판별적 훈련을 가능하게 하여 시퀀스 모델링 성능을 향상시킨다.
• 연구자 및 실무자들이 최소한의 설정 오버헤드로 CRF 기반 엔드 투 엔드 ASR를 위한 완전하고 재현 가능한 워크플로우를 제공한다.
• 모듈러 설계와 효율적인 구현을 통해 발화자 적응 및 저지연 스트리밍 추론과 같은 실용적 구현 요구사항을 충족시킨다.
• CRF 기반 엔드 투 엔드 모델이 주요 벤치마크에서 표준 엔드 투 엔드 모델과 하이브리드 시스템을 능가하거나 동등하게 성능을 내는가를 입증한다.

제안 방법

• CTC-CRF를 구현하며, 경제적 기대와 모델 기대의 차이로 계산되는 기울기를 사용하는 판별적 CRF 훈련을 포함한 완전한 훈련 파이프라인을 제공한다.
• GPU에서 빠르고 병렬적으로 계산할 수 있도록 warp-ctc의 수정된 버전을 사용하여 경험적 기대 계산을 최적화한다.
• CUDA C/C++ 인터페이스를 통해 모델 기대를 계산하며, 효율성을 위해 Kaldi의 분모 전진-역방향 알고리즘을 영감으로 삼는다.
• 자동 미분과 동적 계산 그래프를 활용하기 위해 PyTorch를 사용하여 딥 네ural 네트워크를 구축한다.
• 양방향 및 단방향 RNN 아키텍처를 모두 지원하며, 스트리밍 환경에서의 지연 시간 제어를 위해 VGG 및 TDNN 블록을 통합한다.
• i-vector 기반 발화자 적응과 언어 모델 재정렬을 통합하여 엔드 투 엔드 훈련을 해치지 않으면서도 강건성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 CRF 기반 엔드 투 엔드 ASR 시스템은 단순한 엔드 투 엔드 훈련 파이프라인을 유지하면서도 주요 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 CTC-CRF 훈련은 기존 엔드 투 엔드 모델(예: CTC, 어텐션, RNN-T)과 비교해 정확도와 파라미터 효율성 측면에서 어떻게 다른가?
• RQ3 CRF 기반 모델이 발화자 적응 및 저지연 추론과 같은 실용적 ASR 요구사항을 얼마나 잘 충족할 수 있는가?
• RQ4 언어 모델 통합과 i-vector 적응이 CRF 기반 엔드 투 엔드 프레임워크 내에서 효과적으로 결합될 수 있는가?
• RQ5 VGG 및 TDNN 레이어와 같은 아키텍처 선택이 스트리밍 ASR에서 지연 시간 제어가 가능한 단방향 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 아이셸 중국어 벤치마크에서 CAT는 단일 화자 유닛과 3-그램 언어 모델을 사용해 문자 오류율(CER) 6.34%를 기록했으며, 다른 엔드 투 엔드 모델과 Kaldi-chain 하이브리드 시스템(7.43%)을 모두 능가했다.
• Switchboard에서 CAT의 단일 화자 시스템은 Switchboard에서 WER 10.0%와 Callhome에서 19.2%를 기록했으며, 이는 双화자 EE-LF-MMI 시스템(9.8% 및 19.3%)과 매우 유사했고, 다른 엔드 투 엔드 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• i-vector 발화자 적응을 적용한 결과, CAT의 Switchboard WER는 9.7%(SW)와 18.8%(CH)로 감소하여 기존 음성 인식 기법과의 강력한 호환성을 입증했다.
• RNNLM 재정렬을 사용함으로써 CAT는 WER를 8.8%(SW)와 17.4%(CH)로 추가로 감소시켰으며, 언어 모델 통합이 엔드 투 엔드 성격을 유지하면서 성능 향상을 이끌 수 있음을 보여주었다.
• 지연 시간 제어 실험 결과, VGG 및 TDNN 블록을 갖춘 단방향 모델은 Switchboard Eval2000에서 16.4% WER를 기록했으며, 다른 온라인 양방향 모델을 능가하고 오프라인 성능에 가까워졌다.
• 양방향에서 단방향 추론으로 전환할 때도 파라미터 수의 최소한의 증가로 강력한 성능 유지가 가능했으며, 이는 스트리밍 응용 분야에서의 아키텍처 효율성을 입증했다.