[논문 리뷰] A GPU-based WFST Decoder with Exact Lattice Generation

Zhehuai Chen, Justin Luitjens외 4명|arXiv (Cornell University)|2018. 04. 09.

Speech Recognition and Synthesis참고 문헌 28인용 수 3

한 줄 요약

이 논문은 Kaldi용 GPU 가속 WFST 디코더를 제안하며, 원자 연산을 활용해 토큰 재결합, 동적 로드 밸런싱, 최적화된 레이티스 처리를 통해 정확한 레이티스 생성을 가능하게 하고, CPU 디코딩 대비 3–15×의 속도 향상을 달성한다. 이 시스템은 일반적인 음성 모델과 언어 모델을 지원하며, 다양한 GPU 아키텍처에서 작동하며, 순차 병렬 처리와 다중 프로세스 서비스(MPS)를 활용해 최대 46×의 속도 향상을 이끌어내며 동일한 인식 및 신뢰도 측정 결과를 제공한다.

ABSTRACT

We describe initial work on an extension of the Kaldi toolkit that supports weighted finite-state transducer (WFST) decoding on Graphics Processing Units (GPUs). We implement token recombination as an atomic GPU operation in order to fully parallelize the Viterbi beam search, and propose a dynamic load balancing strategy for more efficient token passing scheduling among GPU threads. We also redesign the exact lattice generation and lattice pruning algorithms for better utilization of the GPUs. Experiments on the Switchboard corpus show that the proposed method achieves identical 1-best results and lattice quality in recognition and confidence measure tasks, while running 3 to 15 times faster than the single process Kaldi decoder. The above results are reported on different GPU architectures. Additionally we obtain a 46-fold speedup with sequence parallelism and multi-process service (MPS) in GPU.

연구 동기 및 목표

• 특수한 음성 모델이나 언어 모델이 필요 없이 GPU 병렬 처리를 활용해 자동 음성 인식(ASR)에서 WFST 디코딩을 가속화하는 것.
• 대규모 언어 모델(LMs)의 높은 메모리 사용과 낮은 확장성 문제를 해결하기 위해 정확한 레이티스 생성을 지원하는 2단계 디코딩을 가능하게 하는 것.
• 이전 GPU 아키텍처(예: Kepler)를 지원하며 기존 Kaldi 워크플로우와 원활하게 통합되는 일반 목적의 이식 가능한 GPU 디코더를 설계하는 것.
• 최적화된 토큰 재결합, 동적 로드 밸런싱, 동기화 및 메모리 전송 오버헤드를 줄인 병렬 레이티스 처리를 통해 디코딩 효율성을 향상시키는 것.

제안 방법

• CUDA의 atomicMin를 사용해 원자 연산으로 토큰 재결합을 구현하여 직렬화를 제거하고 Viterbi 비트맵 검색에서 완전한 병렬성을 달성한다.
• GPU 스레드 간 토큰 전달 작업을 분배하기 위한 동적 로드 밸런싱 전략을 설계하여 유휴 시간을 최소화하고 스레드 활용도를 향상시킨다.
• GPU에서 실행 가능한 정확한 레이티스 생성 및 정렬 알고리즘을 재설계하여 데이터 이동과 커널 실행 오버헤드를 감소시킨다.
• 두 단계 디코딩 프레임워크를 사용한다: 첫 번째 단계는 후처리를 위한 정확한 레이티스 생성, 두 번째 단계는 대규모 언어 모델을 사용한 재평가 수행.
• 순차 병렬 처리와 다중 프로세스 서비스(MPS)를 활용해 컨텍스트 스위칭을 줄이고 현대 GPU에서 최대 46×의 속도 향상을 달성한다.
• 시스템을 Kaldi 툴킷에 오픈소스 확장 기능으로 통합하여 모든 공개된 Kaldi 레시피와의 후행 호환성을 보장한다.

실험 결과

연구 질문

• RQ1 GPU 기반 WFST 디코딩이 CPU 디코딩 대비 상당한 속도 향상을 이룰 수 있을까? 동시에 1-best 및 레이티스 품질은 동일한가?
• RQ2 정밀도 손실이나 동기화 병목 현상 없이 GPU에서 Viterbi 비트맵 검색의 토큰 재결합을 어떻게 효율적으로 병렬화할 수 있는가?
• RQ3 WFST 디코딩 중 토큰 전달 과정에서 GPU 스레드 간 작업을 효과적으로 균형 잡기 위한 동적 로드 밸런싱 전략은 무엇인가?
• RQ4 정확한 레이티스 생성 및 정렬을 GPU에서 효율적으로 병렬화할 수 있을까? 이는 메모리 전송 및 커널 실행 오버헤드를 줄일 수 있는가?
• RQ5 실제 ASR 환경에서 순차 병렬 처리와 다중 프로세스 서비스(MPS)는 GPU 기반 WFST 디코딩을 얼마나 더 가속화할 수 있는가?

주요 결과

• GPU 디코더는 다양한 GPU 아키텍처에서 단일 프로세스 CPU 디코더 대비 3–15×의 속도 향상을 달성했으며, 동일한 1-best 인식 결과와 레이티스 품질을 유지한다.
• 순차 병렬 처리와 다중 프로세스 서비스(MPS)를 사용할 경우, 유사 조건에서 CPU 대비 1.8× 뿐만 아니라 최대 46배의 속도 향상을 달성한다.
• 원자 연산을 사용한 토큰 재결합은 핵심 섹션을 제거하여 Kepler와 같은 이전 GPU 아키텍처와의 호환성을 보장한다.
• 동적 로드 밸런싱은 정적 로드 밸런싱 및 그래프 분할 방법보다 성능을 향상시키며, 1-best 디코딩에서는 15×, 레이티스 디코딩에서는 9.7×의 속도 향상을 달성한다.
• 레이티스 정렬은 데이터 전송 및 커널 실행 비용을 줄여 성능 향상에 기여하며, GPU 버전은 속도와 확장성 면에서 모두 CPU를 능가한다.
• 언어 모델 크기가 13MB에서 258MB로 다양하더라도 디코더는 일관된 성능을 유지하며, 12GB GPU에서 메모리 사용량이 11GB로 제한되어 있어 효과적인 메모리 최적화가 이루어졌음을 보여준다.