[논문 리뷰] PyKaldi2: Yet another speech toolkit based on Kaldi and PyTorch

Liang Lu, Xiong Xiao외 2명|arXiv (Cornell University)|2019. 07. 12.

Speech Recognition and Synthesis참고 문헌 12인용 수 17

한 줄 요약

PyKaldi2는 Kaldi와 PyTorch를 통합하여 실시간 레이티스 생성을 이용한 MMI, sMBR, MPE 기준으로 엔드 투 엔드 시퀀스 훈련을 가능하게 하는 음성 인식 툴킷이다. 경쟁적인 Librispeech WER 성능을 달성하며, 시퀀스 훈련은 정확도를 향상시키고 실시간 노이즈/리버버브 시뮬레이션은 특히 패딩 필드 조건에서 강건성을 향상시킨다.

ABSTRACT

We introduce PyKaldi2 speech recognition toolkit implemented based on Kaldi and PyTorch. While similar toolkits are available built on top of the two, a key feature of PyKaldi2 is sequence training with criteria such as MMI, sMBR and MPE. In particular, we implemented the sequence training module with on-the-fly lattice generation during model training in order to simplify the training pipeline. To address the challenging acoustic environments in real applications, PyKaldi2 also supports on-the-fly noise and reverberation simulation to improve the model robustness. With this feature, it is possible to backpropogate the gradients from the sequence-level loss to the front-end feature extraction module, which, hopefully, can foster more research in the direction of joint front-end and backend learning. We performed benchmark experiments on Librispeech, and show that PyKaldi2 can achieve reasonable recognition accuracy. The toolkit is released under the MIT license.

연구 동기 및 목표

• Kaldi의 음성 인식 파이프라인과 PyTorch의 딥 러닝 기능을 원활하게 통합하기 위해 Kaldi와 PyTorch를 연결하는 것을 목적으로 한다.
• 훈련 중 실시간 레이티스 생성을 통해 간소화된 방식으로 엔드 투 엔드 시퀀스 판별 훈련(MMI, sMBR, MPE)을 가능하게 하는 것을 목적으로 한다.
• 전처리 모듈에 기울기 역전파를 통한 실시간 노이즈 및 리버버브 시뮬레이션을 통해 실제 음향 환경에서의 모델 강건성을 향상시키는 것을 목적으로 한다.
• 다중 GPU에서의 확장성과 효율성을 확보하기 위해 Horovod를 활용한 분산 훈련을 지원하는 것을 목적으로 한다.
• 레이티스 기반 및 레이티스 프리 MMI 훈련을 모두 지원하는 유연하고 확장 가능한 툴킷을 제공하며, 향후 고급 훈련 레시피 확장성도 고려한다.

제안 방법

• PyKaldi를 파이썬 래퍼로 활용하여 Kaldi의 HMM 및 FST 기능에 접근하고, 동시에 PyTorch를 사용해 신경망 훈련 및 최적화를 수행한다.
• 훈련 중 실시간 레이티스 생성을 구현하여 파이프라인을 단순화하고, GPU 기반 모델 업데이트와 병행하여 실시간 레이티스 계산을 가능하게 한다.
• 각 미니배치마다 다양한 노이즈 유형(예: CHiME-4, MUSAN, Noisex92)의 랜덤 RIR과 함께 청소된 음성을 컨볼루션하여 실시간 데이터 시뮬레이션을 지원함으로써 강건성을 향상시킨다.
• 전처리 모듈에 시퀀스 수준의 손실(예: MMI)을 역전파할 수 있도록 계산 그래프에 시뮬레이션 및 레이티스 계산을 통합함으로써 프론트엔드 특징 추출 모듈을 포함한 종합적 학습을 가능하게 한다.
• 다중 GPU에서의 분산 훈련을 위해 Horovod를 활용하여 레이티스 생성 및 손실 계산 속도를 크게 향상시킨다.
• 데이터 입출력, 시뮬레이션, 데이터로딩, 모델 정의, 사용자 정의 손실 연산, 훈련 및 디코딩용 실행 파일 등 전용 컴포넌트를 포함한 모듈식 코드베이스를 제공한다.

실험 결과

연구 질문

• RQ1 Kaldi-PyTorch 하이브리드 툴킷에서 실시간 레이티스 생성이 훈련 효율성을 저하시키지 않고 시퀀스 훈련 파이프라인을 단순화할 수 있는가?
• RQ2 실시간 노이즈 및 리버버브 시뮬레이션은 패딩 필드 및 다중 화자 환경에서 ASR 모델의 강건성을 어느 정도 향상시키는가?
• RQ3 PyKaldi2에서의 시퀀스 판별 훈련(MMI, sMBR, MPE)은 Librispeech에서 교차 엔트로피 훈련 대비 일관된 WER 향상을 달성할 수 있는가?
• RQ4 엔드 투 엔드 역전파를 통한 프론트엔드 시뮬레이션 통합은 프론트엔드 및 백엔드의 공동 학습에 얼마나 효과적인가?
• RQ5 PyKaldi2의 초기 레이티스 프리 MMI(LFMMI) 구현 성능은 표준 레이티스 기반 훈련 대비 어떻게 되는가?

주요 결과

• PyKaldi2는 Librispeech에서 경쟁적인 ASR 성능을 달성하였으며, 460시간의 CE 훈련 모델이 실시간 시뮬레이션을 적용한 결과 패딩 필드 조건에서 960시간의 MMI 훈련 모델(WER 11.8%)보다 우수한 성능(11.6% WER)을 기록하였다.
• 실시간 시뮬레이션은 강건성을 크게 향상시켰다: 460시간 데이터에 대해 시뮬레이션을 적용한 CE 모델은 패딩 필드 조건에서 11.6% WER를 달성하여, 960시간의 MMI 모델(시뮬레이션 없음)보다 우수한 성능을 보였다.
• 시뮬레이션을 적용한 모델은 근접 화자 조건에서 5.6% WER를 기록하여 동적 데이터 증강 기법이 실제 환경에서의 강건성 향상에 효과적임을 입증하였다.
• Horovod를 통한 분산 훈련은 높은 처리량을 제공하여 16개 GPU에서 최대 시간당 170시간의 훈련 데이터 처리가 가능했으며, 이는 시퀀스 훈련의 가속화에 기여했다.
• 실시간 레이티스 기반 시퀀스 훈련은 CE 훈련 대비 일관된 WER 향상을 보였으며, 판별 기준의 가치를 확인하였다.
• 초기 레이티스 프리 MMI(LFMMI) 구현은 Librispeech dev-clean에서 8% 이상의 WER 성능을 기록하였지만, 레이티스 기반 훈련보다 성능이 열등하여 데이터 로딩 및 청크 처리 향상 여지가 있음을 시사하였다.