[論文レビュー] Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers

Naoyuki Kanda, Yashesh Gaur+5 more|arXiv (Cornell University)|Jun 19, 2020

Speech Recognition and Synthesis参考文献 33被引用数 5

ひとこと要約

本稿では、モノラル重複音声上で同時に話者数カウント、マルチスピーカーASR、話者特定を実行するエンドツーエンドの統合モデルである話者属性付き自動音声認識（SA-ASR）を提案する。SOT（逐次出力学習）とアテンションベースのエンコーダデコーダーを基盤とし、補助入力として話者インベントリを導入。全モジュールを話者属性付き最大相互情報量基準により最適化し、ベースラインシステムと比較してSA-WERを29%相対的に低減した。

ABSTRACT

We propose an end-to-end speaker-attributed automatic speech recognition model that unifies speaker counting, speech recognition, and speaker identification on monaural overlapped speech. Our model is built on serialized output training (SOT) with attention-based encoder-decoder, a recently proposed method for recognizing overlapped speech comprising an arbitrary number of speakers. We extend SOT by introducing a speaker inventory as an auxiliary input to produce speaker labels as well as multi-speaker transcriptions. All model parameters are optimized by speaker-attributed maximum mutual information criterion, which represents a joint probability for overlapped speech recognition and speaker identification. Experiments on LibriSpeech corpus show that our proposed method achieves significantly better speaker-attributed word error rate than the baseline that separately performs overlapped speech recognition and speaker identification.

研究の動機と目的

• モノラル重複音声における話者数カウント、マルチスピーカーASR、話者特定のエンドツーエンド統合モデリングの課題に対処すること。
• 音声分離、ASR、話者ダイアライゼーションを別々に処理するキャスケードシステムの限界を克服し、誤差伝搬による性能劣化を回避すること。
• 可変サイズの話者プロファイルインベントリから、任意の数の話者を含む重複音声を正確に認識・特定できること。
• 話者数カウント、発話文の変換、話者特定の全モジュールを、統一された微分可能なフレームワークとして統合し、結合確率により最適化すること。
• 話者属性付き最大相互情報量（SA-MMI）による統合最適化が、パイプラインベースのベースラインと比較してSA-WERを改善することを示すこと。

提案手法

• SOT（逐次出力学習）とアテンションベースのエンコーダデコーダー（AED）を拡張し、話者切り替えトークン（<sc>）を用いて任意の数の重複話者を処理できるようにする。
• 各プロファイルを参照発話から抽出したdベクトルで表す話者インベントリを補助入力として導入する。
• 話者プロファイルへのアテンションを最適化するため、動的クエリを生成する話者クエリRNNを導入し、話者特定の正確性を向上させる。
• クエリベクトルを用いて話者プロファイル全体にアテンションを適用するインベントリアテンションを採用し、話者に意識的な復元を実現する。
• アテンション機構において、話者特定の精度を向上させるために重み付き話者プロファイル表現 $\bar{d}_n$ を組み込む。
• 全モデルパラメータを、発話文と話者ラベルの結合尤度を最大化する話者属性付き最大相互情報量（SA-MMI）基準により同時に最適化する。

Figure 1: Proposed model.

実験結果

リサーチクエスチョン

• RQ1 統一されたエンドツーエンドモデルは、モノラル重複音声上で話者数カウント、マルチスピーカーASR、話者特定を同時に実行可能か？
• RQ2 SOTに話者プロファイルを補助入力として統合することで、分離モジュールパイプラインと比較して話者属性の正確性が向上し、SA-WERが低減するか？
• RQ3 本手法は、話者プロファイル数や1プロファイルあたりの発話数の増加に伴ってどのようにスケーリングするか？
• RQ4 複雑で高多重度の重複状況でも、話者数を正確にカウントし、適切なラベルを割り当てられるか？
• RQ5 SA-MMIによる統合最適化は、信号レベルの基準で個別に学習したモジュールと比較して、より優れた性能を示すか？

主な発見

• 提案モデルは、SOT-ASRとdベクトルによる話者特定を組み合わせたベースラインと比較して、話者属性付き語誤り率（SA-WER）を29%相対的に低減した。
• 1話者混合では話者数カウント精度が99.96%、2話者混合では97.44%であったが、3話者混合では時々話者数を過小評価する傾向が見られた。
• 話者プロファイル数の増加に対してもモデルの頑健性を示し、8から32プロファイルにスケーリングした際も、SERおよびSA-WERにわずかな劣化しか生じなかった。
• 1話者プロファイルあたりの発話数を増やすことで誤り率が低下し、話者埋め込みの品質向上が示された。
• アブレーションスタディの結果、話者クエリRNNと重み付きプロファイル表現を備えた完全なモデルが、他のバリエーションを上回り、動的クエリ生成とプロファイルの精錬の重要性を裏付けた。
• SA-MMI基準による統合最適化により、ランダム初期化で見られた収束問題を克服し、全体的な性能が向上した。