[논문 리뷰] Pkwrap: a PyTorch Package for LF-MMI Training of Acoustic Models

Srikanth Madikeri, Sibo Tong외 4명|arXiv (Cornell University)|2020. 10. 07.

Speech Recognition and Synthesis참고 문헌 15인용 수 5

한 줄 요약

Pkwrap는 Kaldi의 LF-MMI 프레임워크를 감싸는 PyTorch 패키지로, Kaldi의 비용 함수를 PyTorch autograd 함수로 노출하여 액oustic 모델의 엔드 투 엔드 LF-MMI 훈련을 가능하게 하며, 정렬 기반 및 플랫스타트 훈련을 모두 지원합니다. 여러 데이터셋에서 Kaldi와 비교할 만한 WER 성능을 달성했으며, 4-그램 LM을 사용할 경우 Switchboard CH에서 5.7%의 상대적 WER 향상을 기록했습니다.

ABSTRACT

We present a simple wrapper that is useful to train acoustic models in PyTorch using Kaldi's LF-MMI training framework. The wrapper, called pkwrap (short form of PyTorch kaldi wrapper), enables the user to utilize the flexibility provided by PyTorch in designing model architectures. It exposes the LF-MMI cost function as an autograd function. Other capabilities of Kaldi have also been ported to PyTorch. This includes the parallel training ability when multi-GPU environments are unavailable and decode with graphs created in Kaldi. The package is available on Github at https://github.com/idiap/pkwrap.

연구 동기 및 목표

• Kaldi의 최신 LF-MMI 훈련 프레임워크를 유지하면서 PyTorch에서의 유연한 음성 모델 설계를 가능하게 합니다.
• 정렬 기반 및 플랫스타트 LF-MMI 훈련을 모두 지원하여 Kaldi의 훈련 패러다임을 그대로 재현합니다.
• 다중 GPU 및 비다중 GPU 환경 모두에서 PyTorch에서 NG-SGD 병렬 훈련을 지원합니다.
• Kaldi 호환 데이터 및 디코딩 그래프를 사용하여 원활한 모델 로딩 및 디코딩을 가능하게 합니다.
• 연구자 및 실무자들이 쉽게 사용할 수 있도록 레시피 기반의 훈련 및 디코딩 워크플로우를 단순화합니다.

제안 방법

• KaldiChainObjfFunction 클래스를 통해 Kaldi의 LF-MMI 목적 함수를 PyTorch autograd 함수로 노출합니다.
• Kaldi의 NaturalGradientAffineTransform 및 NGState를 감싸서 PyTorch 호환 NG-SGD 최적화기를 구현하여 자연 그래เดียน트 업데이트를 지원합니다.
• pybind11를 사용하여 핵심 Kaldi C++ 기능을 바인딩하여 Kaldi와 PyTorch 텐서 간의 저지연 메모리 전달을 구현합니다.
• 모델 로딩 및 상호운용성을 위해 Kaldi 행렬과 PyTorch 텐서 간의 양방향 변환을 지원합니다.
• subprocess 호출을 통해 Kaldi 도구를 사용하여 데이터 준비, 특징 추출, egs 생성 및 디코딩을 처리하는 레시피 스크립트를 제공합니다.
• 모델 병합 및 지수 감소 스케줄링을 통한 학습률 감소를 통합하여 Kaldi의 기본 동작을 그대로 반영합니다.

실험 결과

연구 질문

• RQ1 PyTorch 래퍼가 Kaldi와 동일한 수준의 WER 성능을 달성할 수 있는가?
• RQ2 PyTorch의 모델 유연성과 Kaldi의 강력한 LF-MMI 훈련 파이프라인을 얼마나 잘 융합할 수 있는가?
• RQ3 Kaldi의 NG-SGD 최적화기가 PyTorch에서 분산 및 비분산 훈련에 얼마나 효과적인가?
• RQ4 사용자 간섭 최소화로 정렬 기반 및 플랫스타트 LF-MMI 훈련을 모두 지원할 수 있는가?
• RQ5 기존 Kaldi 레시피와의 상호운용성이 디코딩 및 모델 평가에 얼마나 잘 작동하는가?

주요 결과

• Minilibrispeech에서 Pkwrap는 19.3%의 WER를 기록하여 Kaldi의 20.7%와 비교해 경쟁적인 성능을 입증했습니다.
• Switchboard에서 4-그램 LM을 사용할 경우, CH 서브셋에서 5.7%의 상대적 WER 향상을 기록했고, SWBD 서브셋에서는 4.9% 향상되었습니다.
• 다국어 BABEL에서 Pkwrap는 네 가지 언어 모두에서 Kaldi와 1% 이내의 WER 성능을 달성했으며, 스와힐리어에서는 3.5%의 상대적 향상(36.4% 대 37.7%)을 기록했습니다.
• Librispeech 100h에서 Pkwrap는 dev-clean에서 5.1%, test-clean에서 5.9%의 WER를 기록했고, Kaldi의 5.5% 및 6.0%와 동일한 성능을 보였으며, dev-other에서는 5.5%의 상대적 향상을 기록했습니다.
• Adam 최적화기와 지수 감소 스케줄링을 사용한 훈련이 성공적으로 수행되어 Kaldi의 NG-SGD 기준 성능과 일치하는 결과를 도출했습니다.
• load_kaldi_models 브랜치를 통해 Kaldi에서 PyTorch로의 모델 로딩이 가능해져 프레임워크 간 모델 재사용이 가능해졌습니다.