[논문 리뷰] Kaldi+PDNN: Building DNN-based ASR Systems with Kaldi and PDNN

Yajie Miao|arXiv (Cornell University)|2014. 01. 27.

Speech Recognition and Synthesis참고 문헌 12인용 수 64

한 줄 요약

이 논문은 Kaldi 툴킷과 Theano 기반의 경량 딥러닝 라이브러리인 PDNN을 사용하여 엔드 투 엔드 딥 뉴럴 네트워크(DNN)-기반 자동 음성 인식(ASR) 시스템을 구축하기 위한 오픈소스 레시피를 제시한다. 이는 Switchboard 110시간 코퍼스에서 재현 가능한 결과를 얻을 수 있도록 DNN 하이브리드, CNN, 버블넥처처 기반 시스템을 구현할 수 있게 하며, 새로운 데이터셋에 쉽게 적용할 수 있는 유연하고 확장 가능한 프레임워크를 제공한다.

ABSTRACT

The Kaldi toolkit is becoming popular for constructing automated speech recognition (ASR) systems. Meanwhile, in recent years, deep neural networks (DNNs) have shown state-of-the-art performance on various ASR tasks. This document describes our open-source recipes to implement fully-fledged DNN acoustic modeling using Kaldi and PDNN. PDNN is a lightweight deep learning toolkit developed under the Theano environment. Using these recipes, we can build up multiple systems including DNN hybrid systems, convolutional neural network (CNN) systems and bottleneck feature systems. These recipes are directly based on the Kaldi Switchboard 110-hour setup. However, adapting them to new datasets is easy to achieve.

연구 동기 및 목표

• Kaldi의 강력한 ASR 파이프라인과 PDNN의 딥러닝 기능을 결합하여 DNN 기반 ASR 시스템 개발을 간소화하기 위해.
• 표준 벤치마크에서 Kaldi와 PDNN를 사용해 DNN 음성 모델을 훈련하기 위한 재사용 가능한 오픈소스 레시피를 제공하기 위해.
• 연구자들과 실무자들이 Switchboard 110시간 설정을 초월한 새로운 데이터셋에 시스템을 쉽게 적응시킬 수 있도록 하기 위해.
• 통합 프레임워크 내에서 하이브리드, CNN, 버블넥처처 기반 시스템을 포함한 다양한 DNN 아키텍처의 효과성을 입증하기 위해.

제안 방법

• 특징 추출, 디코딩, 시스템 훈련을 위한 핵심 파이프라인으로 Kaldi ASR 툴킷을 사용한다.
• DNN 음성 모델을 구현하기 위해 Theano 기반의 경량 딥러닝 라이브러리인 PDNN을 통합한다.
• 모든 레시피의 기본 훈련 설정으로 Switchboard 110시간 데이터셋을 사용한다.
• 다양한 모델 유형을 지원한다: DNN 하이브리드 시스템, 합성곱 신경망(CNNs), 버블넥처처 기반 시스템.
• 직선 활성화 함수(ReLUs), 드롭아웃 정규화, 미니배치 확률적 경사 하강법 등의 표준 딥러닝 구성 요소를 사용한다.
• 모듈식이고 스크립트 기반의 레시피를 제공하여, 매개변수화된 설정 파일을 통해 새로운 데이터셋에 쉽게 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 Kaldi와 PDNN을 통합한 통합 프레임워크가 ASR에서 다양한 DNN 아키텍처를 효과적으로 지원할 수 있는가?
• RQ2 Kaldi+PDNN로 구축한 DNN 기반 시스템이 Switchboard 110시간과 같은 표준 벤치마크에서 얼마나 잘 성능을 내는가?
• RQ3 제공된 레시피가 원래 설정을 초월해 새로운 데이터셋에 얼마나 일반화되고 적응 가능한가?
• RQ4 이 프레임워크에서 CNN 또는 버블넥처처 기반 모델을 사용할 경우 표준 DNN 하이브리드 모델 대비 성능 향상은 어느 정도인가?

주요 결과

• Kaldi+PDNN 프레임워크는 일관된 성능을 보이며 DNN 하이브리드, CNN, 버블넥처처 기반 시스템을 포함한 다양한 DNN 기반 ASR 시스템을 성공적으로 구현하였다.
• 레시피는 Kaldi Switchboard 110시간 설정을 직접 기반으로 하여, 다양한 모델 유형 간에 재현 가능하고 비교 가능한 결과를 도출할 수 있다.
• 시스템은 PDNN이 복잡한 DNN 모델을 최소한의 오버헤드로 Kaldi에 효과적으로 통합될 수 있음을 보여준다.
• 훈련 스크립트의 모듈식이고 매개변수화된 설계 덕분에, 새로운 데이터셋에 레시피를 적응시키는 것이 간편하다.