[論文レビュー] GPU-accelerated Guided Source Separation for Meeting Transcription

Desh Raj, Daniel Povey+1 more|arXiv (Cornell University)|Dec 10, 2022

Speech and Audio Processing被引用数 5

ひとこと要約

この論文は、会議音声認識のためのガイド付き音源分離（GSS）をGPUで高速化した実装を提示しており、周波数帯と時間セグメントのバッチ処理を活用することで、CPUベースの推論と比較して300倍の高速化を達成した。この手法により、詳細なアブレーションスタディが可能となり、LibriCSS、AMI、AliMeetingベンチマークにおけるスピークャー属性付きASRのエンドツーエンド再現可能なパイプラインが提供され、最先端のWER低減が実現された。

ABSTRACT

Guided source separation (GSS) is a type of target-speaker extraction method that relies on pre-computed speaker activities and blind source separation to perform front-end enhancement of overlapped speech signals. It was first proposed during the CHiME-5 challenge and provided significant improvements over the delay-and-sum beamforming baseline. Despite its strengths, however, the method has seen limited adoption for meeting transcription benchmarks primarily due to its high computation time. In this paper, we describe our improved implementation of GSS that leverages the power of modern GPU-based pipelines, including batched processing of frequencies and segments, to provide 300x speed-up over CPU-based inference. The improved inference time allows us to perform detailed ablation studies over several parameters of the GSS algorithm -- such as context duration, number of channels, and noise class, to name a few. We provide end-to-end reproducible pipelines for speaker-attributed transcription of popular meeting benchmarks: LibriCSS, AMI, and AliMeeting. Our code and recipes are publicly available: https://github.com/desh2608/gss.

研究の動機と目的

• ガイド付き音源分離（GSS）の高い計算コストが、オフライン会議音声認識への採用を制限している問題に対処すること。
• CPUベースのGSS推論が80のCPUジョブを用いてCHiME-6開発セットに約20時間を要するというボトルネックを克服すること。
• コンテキスト期間、チャネル数、ノイズクラス、BSSイテレーション数といったGSSの主要パラメータの詳細なアブレーションスタディを可能にすること。
• 主なベンチマーク（LibriCSS、AMI、AliMeeting）におけるスピークャー属性付きASRのエンドツーエンド再現可能なパイプラインを提供すること。
• pipインストール可能なパッケージと、ダイアライゼーション、強化、ASR推論のための完全なレシピを含む実装を公開すること。

提案手法

• 周波数帯と時間セグメントの両方のバッチ処理を活用し、WPEのエコー除去、CACGMMに基づくマスク推定、ビームフォーミングを含むすべてのGSS計算をGPUに移行した。
• ディープラーニングトレーニングを模倣したハイブリッドCPU-GPUパイプラインを採用：CPUワーカーが大規模なテンソルを読み込み前処理し、GPUがバッチで並列推論を実行する。
• 周波数帯、時間セグメント、スピークャーの3段階のバッチ処理を適用し、GPUメモリの使用率とスループットを最大化した。
• 初期のエコー除去のためにWPEを適用し、ダイアライゼーション情報を用いてスピークャー成分推定をガイドすることで、順列のあいまいさを回避した。
• STFTドメインにおけるスピークャー固有のマスク推定に、制約付き自己適応複素ガウス混合モデル（CACGMM）を用いた。
• ダイアライゼーション（重複割り当てあり・なしを含む）、GSS強化、事前学習済みニューラルトランシューアルASRモデルを用いた推論を統合することで、エンドツーエンドの再現性を完全に実現した。

Figure 1: Overview of batch processing for GPU-accelerated GSS. Solid and dotted lines denote GPU-bound and CPU-bound operations, respectively. The WPE module is not shown.

実験結果

リサーチクエスチョン

• RQ1 GPU高速化は、会議音声認識におけるGSSの推論速度にどのように影響するか？
• RQ2 コンテキスト期間、チャネル数、ノイズクラス、BSSイテレーション数といった主要なGSSハイパーパrameterが、後続のASR性能に与える影響は何か？
• RQ3 オラクルセグメンテーションではなく、非オラクルダイアライゼーションを用いた場合、GSSベースの強化はどの程度の性能を示すか？
• RQ4 WPE、ノイズモデル、チャネル数といったGSSの各コンponentがWER低減に果たす相対的寄与度は何か？
• RQ5 LibriCSS、AMI、AliMeetingといった実世界の会議ベンチマークに、一貫した性能向上をもたらすようにGSSを効果的にスケーリングできるか？

主な発見

• GPU高速化GSS実装は、CHiME-6開発セットにおいて、元のCPUベース実装と比較して300倍の高速化を達成し、推論時間を約20時間から約1.3時間に短縮した。
• 2チャンネルではなく7チャンネルを入力に使用したことで、LibriCSSでは相対的に50.4％、AMIでは21.8％のWER低減が達成され、チャネル数の影響が顕著に現れた。
• コンテキスト期間を5秒から15秒に延長したことでWERは改善したが、さらに延長するとターゲットスピークャーのエネルギーがコンテキストに含まれるようになり、性能が劣化した。
• 5回を超えるBSSイテレーションでは追加のWER低減効果が得られず、5回程度で収束することが示された。
• 非オラクルダイアライゼーションを組み合わせたGSSベースの強化により、LibriCSS、AMI、AliMeetingでそれぞれ29.1％、19.5％、19.7％のcpWER低減が達成された。
• この手法により、マイク近接状態と遠方音声状態の間のWERギャップの最大80％を回復でき、実世界の会議シナリオにおける強い耐障害性を示した。

Figure 2: An overview of the guided source separation (GSS) method for target-speaker extraction.