[논문 리뷰] GPU-accelerated Guided Source Separation for Meeting Transcription

Desh Raj, Daniel Povey외 1명|arXiv (Cornell University)|2022. 12. 10.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 GPU 가속을 통한 가이드드 소스 분리(Guided Source Separation, GSS) 구현을 제시하며, GPU에서 주파수 및 세그먼트 배치 처리를 활용하여 CPU 기반 추론 대비 300배 빠른 성능을 달성한다. 이는 회의 음성 전사에 적합하며, 말하는 이의 소리를 할당한 ASR를 사용해 LibriCSS, AMI, AliMeeting 벤치마크에서 최신 기술 수준의 WER 감소를 이룬 엔드 투 엔드 재현 가능한 파이프라인을 제공한다.

ABSTRACT

Guided source separation (GSS) is a type of target-speaker extraction method that relies on pre-computed speaker activities and blind source separation to perform front-end enhancement of overlapped speech signals. It was first proposed during the CHiME-5 challenge and provided significant improvements over the delay-and-sum beamforming baseline. Despite its strengths, however, the method has seen limited adoption for meeting transcription benchmarks primarily due to its high computation time. In this paper, we describe our improved implementation of GSS that leverages the power of modern GPU-based pipelines, including batched processing of frequencies and segments, to provide 300x speed-up over CPU-based inference. The improved inference time allows us to perform detailed ablation studies over several parameters of the GSS algorithm -- such as context duration, number of channels, and noise class, to name a few. We provide end-to-end reproducible pipelines for speaker-attributed transcription of popular meeting benchmarks: LibriCSS, AMI, and AliMeeting. Our code and recipes are publicly available: https://github.com/desh2608/gss.

연구 동기 및 목표

• 가이드드 소스 분리(Guided Source Separation, GSS)의 높은 계산 비용으로 인해 오프라인 회의 전사에 널리 채택되지 못한 점을 해결한다. 이는 강력한 성능에도 불구하고 여전히 도전 과제로 남아 있다.
• CPU 기반 GSS 추론의 성능 저하 문제를 해결한다. 이는 80개의 CPU 작업을 사용할 경우 CHiME-6 개발 세트에 대해 약 20시간이 소요된다.
• GSS의 핵심 파rameter들—예를 들어 컨텍스트 지속 시간, 채널 수, 노이즈 클래스, BSS 반복 횟수—에 대한 상세한 추론 분석을 가능하게 한다.
• LibriCSS, AMI, AliMeeting 등의 주요 벤치마크에서 말하는 이 할당 기반 ASR에 대한 엔드 투 엔드 재현 가능한 파이프라인을 제공한다.
• pip 설치가 가능한 패키지로 구현을 공개하고, 다이어라이제이션, 향상, ASR 추론에 대한 완전한 레시피를 제공한다.

제안 방법

• 모든 GSS 계산을 GPU로 이식하였으며, WPE 역리버버베이션, CACGMM 기반 마스크 추정, 비음향 기반 방법을 포함한다. 주파수 대역과 시간 세그먼트에 걸쳐 배치 처리를 수행한다.
• 딥 러닝 학습에 영감을 얻은 하이브리드 CPU-GPU 파이프라인을 적용한다: CPU 워커가 큰 텐서를 로드하고 전처리를 수행하며, GPU가 배치 단위로 병렬 추론을 수행한다.
• 다중 수준의 배치 처리—주파수 대역, 시간 세그먼트, 말하는 이 수준—를 적용하여 GPU 메모리 활용도와 처리량을 극대화한다.
• 조기 리버버버레이션 억제를 위해 WPE를 통합하고, 다이어라이제이션 정보를 활용해 말하는 이 성분 추정을 안내하며 순열 모호성을 방지한다.
• STFT 도메인에서 희소성 인식 및 말하는 이별 마스크 추정을 위해 CACGMM(제약 조건이 있는 적응형 복소수 가우시안 혼합 모델)를 사용한다.
• 다이어라이제이션(중첩 할당 여부 유무 포함), GSS 향상, 사전 학습된 신경 트랜스듀서 기반 ASR 모델 추론을 결합하여 엔드 투 엔드 재현 가능성을 확보한다.

Figure 1: Overview of batch processing for GPU-accelerated GSS. Solid and dotted lines denote GPU-bound and CPU-bound operations, respectively. The WPE module is not shown.

실험 결과

연구 질문

• RQ1 GPU 가속이 회의 전사용 GSS 추론 속도에 어떤 영향을 미치는가?
• RQ2 컨텍스트 지속 시간, 채널 수, 노이즈 클래스, BSS 반복 횟수 등 핵심 GSS 하이퍼파라미터가 후속 ASR 성능에 미치는 영향은 어떠한가?
• RQ3 오라클 세그먼테이션 대비 비오라클 다이어라이제이션을 사용할 경우 GSS 기반 향상 성능는 어떻게 되는가?
• RQ4 각 GSS 구성 요소(예: WPE, 노이즈 모델링, 채널 수)가 WER 감소에 기여하는 비율은 어느 정도인가?
• RQ5 LibriCSS, AMI, AliMeeting과 같은 실제 회의 벤치마크에 대해 GSS가 일관된 성능 향상을 제공하면서 효과적으로 확장 가능한가?

주요 결과

• GPU 가속 GSS 구현은 CHiME-6 개발 세트에서 원래 CPU 기반 구현 대비 300배 빠른 성능을 달성하여 추론 시간을 약 20시간에서 약 1.3시간으로 단축시켰다.
• 2개 채널 대비 7개 채널를 사용할 경우, LibriCSS에서는 50.4%의 상대적 WER 감소, AMI에서는 21.8%의 감소를 기록하여 채널 수의 영향력이 뚜렷하게 드러났다.
• 컨텍스트 지속 시간을 5초에서 15초로 늘였을 때 WER가 향상되었지만, 더 이상 늘일 경우 목표 말하는 이의 에너지가 컨텍스트에 포함되어 성능 저하가 발생했다.
• 5회 이상의 BSS 반복은 추가적인 WER 향상 기여가 없었으며, 5회가 넘는 반복은 수익 감소 현상이 나타났다.
• 비오라클 다이어라이제이션과 결합한 GSS 기반 향상은 각각 LibriCSS, AMI, AliMeeting에서 cpWER을 29.1%, 19.5%, 19.7% 감소시켰다.
• 이 방법은 닫힌 마이크로폰 조건과 원거리 마이크로폰 조건 사이의 WER 격차의 최대 80%를 복구하여 실제 회의 환경에서의 강력한 내성성을 입증했다.

Figure 2: An overview of the guided source separation (GSS) method for target-speaker extraction.