[論文レビュー] Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation

Marvin Lavechin, Marianne Métais+8 more|arXiv (Cornell University)|Oct 24, 2022

Speech Recognition and Synthesis被引用数 8

ひとこと要約

Brouhahaは、合成された汚染データを用いて、1チャンネル音声から音声活動検出（VAD）、音声対雑音比（SNR）、C50室内音響特性を同時に予測するマルチタスク深層学習モデルを提案する。1,250時間の合成音声で訓練された本モデルは、実世界のデータにおいて優れた性能を示し、マルチタスク学習が一般化性能を向上させ、ASRおよびダイアライゼーションシステムの劣化音響条件下での信頼性を実用的に分析可能であることを示している。

ABSTRACT

Most automatic speech processing systems register degraded performance when applied to noisy or reverberant speech. But how can one tell whether speech is noisy or reverberant? We propose Brouhaha, a neural network jointly trained to extract speech/non-speech segments, speech-to-noise ratios, and C50room acoustics from single-channel recordings. Brouhaha is trained using a data-driven approach in which noisy and reverberant audio segments are synthesized. We first evaluate its performance and demonstrate that the proposed multi-task regime is beneficial. We then present two scenarios illustrating how Brouhaha can be used on naturally noisy and reverberant data: 1) to investigate the errors made by a speaker diarization model (pyannote.audio); and 2) to assess the reliability of an automatic speech recognition model (Whisper from OpenAI). Both our pipeline and a pretrained model are open source and shared with the speech community.

研究の動機と目的

• RIRや事前セグメンテーションを必要とせず、1チャンネル音声から音声活動、SNR、室内音響特性（C50）を統合的に推定する統一システムの開発を目的とする。
• 単一タスクベースラインと比較して、VAD、SNR、C50推定の性能がマルチタスク学習によって向上するかどうかを調査することを目的とする。
• 予測された音響指標を用いて、実世界のノイズ混在・リバーブ環境下における音声処理システムの信頼性（ASRやスプーカーダイアライゼーションを含む）を実用的に分析することを目的とする。
• 非専門家が音声データ品質とシステムの耐障害性を簡単に評価できるオープンソースで使いやすいツールを提供することを目的とする。

提案手法

• 合成音声は、クリアな音声と雑音のセグメントをランダムに選択された室インパルス応答（RIR）で畳み込み、0〜30 dBのランダムなSNRで混合することで生成される。
• 本モデルは、1,250時間のこのような合成データ上でエンドツーエンドに訓練され、3つのタスクを実行する：音声/非音声分類、フレーム単位のSNR回帰、C50回帰。
• スライディングウインドウアプローチにより、2秒のセグメント内で10 ms間隔でSNRを計算し、非定常雑音への耐性を高める。
• VAD、SNR、C50予測のためのタスク固有ヘッドを備えた共有エンコーダーを採用することで、パラメータ共有と共同最適化を実現する。
• VADには交差エントロピー、SNRおよびC50回帰には平均二乗誤差を用い、タスクの優位性を避けるために重みをバランスさせる。
• 実データでの評価は2つのユースケースで実施：事前学習済みスプーカーダイアライゼーションシステム（pyannote.audio）の誤り分析、予測された指標を用いたASRの信頼性評価（Whisper）。

実験結果

リサーチクエスチョン

• RQ1 RIRや事前セグメンテーションを必要とせず、1つのニューラルネットワークが1チャンネル音声から音声活動、SNR、C50を同時に効果的に予測できるか？
• RQ2 マルチタスク学習は、単一タスクベースラインと比較して、VAD、SNR、C50推定の性能を向上させるか？
• RQ3 合成データで学習したモデルが、実世界のノイズ混在・リバーブ音声に一般化可能か？
• RQ4 予測されたSNRおよびC50値と、ダイアライゼーションやASRなどの下流システムの実際の性能低下の相関関係はいかほどか？

主な発見

• ホールドアウトテストセットにおいて、予測されたC50と真値の間に高い相関（R² = 0.85）が得られ、平均絶対誤差は1.1 dBであった。
• マルチタスク学習が有益であることが実証され、単一タスクベースラインと比較して、3つのタスクすべての一般化性能と性能が向上した。
• 低SNRおよび低C50条件下では、スプーカーダイアライゼーションの誤り（特にスプーカーの混同）が顕著に増加し、Brouhahaの予測と一致した。
• Whisperの単語変換精度は、高SNR領域（[12,24] dB）では83%であったが、低SNR領域（[-9,-4] dB）では38%に低下し、ノイズ混在条件下での信頼性低下が確認された。
• 本モデルは、手動アノテーションを必要とせず、実世界データの問題のある音声セグメントを効果的に同定でき、システム障害の的確な分析を可能にした。
• オープンソースのBrouhahaパイプラインおよび事前学習済みモデルにより、1つのコマンドラインインターフェースで、音響状態とシステムの耐障害性を簡単に評価できるようになった。