[論文レビュー] Serialized Output Training for End-to-End Overlapped Speech Recognition

Naoyuki Kanda, Yashesh Gaur+3 more|arXiv (Cornell University)|Mar 28, 2020

Speech Recognition and Synthesis被引用数 14

ひとこと要約

本稿では、複数話者の重複音声認識のためのエンドツーエンドフレームワークであるSerialized Output Training (SOT)を提案する。SOTは、1つの出力層を用いて話者を逐次的に発話文を生成することで、順列不変訓練（PIT）の制限（固定話者数、話者間依存関係のモデル化不能）を克服する。SOTはLibriSpeechで最先端のWER性能を達成し、話者数が変動する状況でもPITを上回り、2話者状況では97%の正確な話者数特定が可能である。

ABSTRACT

This paper proposes serialized output training (SOT), a novel framework for multi-speaker overlapped speech recognition based on an attention-based encoder-decoder approach. Instead of having multiple output layers as with the permutation invariant training (PIT), SOT uses a model with only one output layer that generates the transcriptions of multiple speakers one after another. The attention and decoder modules take care of producing multiple transcriptions from overlapped speech. SOT has two advantages over PIT: (1) no limitation in the maximum number of speakers, and (2) an ability to model the dependencies among outputs for different speakers. We also propose a simple trick that allows SOT to be executed in $O(S)$, where $S$ is the number of the speakers in the training sample, by using the start times of the constituent source utterances. Experimental results on LibriSpeech corpus show that the SOT models can transcribe overlapped speech with variable numbers of speakers significantly better than PIT-based models. We also show that the SOT models can accurately count the number of speakers in the input audio.

研究の動機と目的

• 順列不変訓練（PIT）における多話者重複音声認識の制限、特に固定話者数と話者間依存関係のモデル化不能を解消すること。
• 任意の話者数に対応可能なスケーラブルなエンドツーエンドASRフレームワークの開発。
• モノラル多話者重複音声状況における発話文の正確な認識と話者数特定能力の向上。
• 特に話者数が多い場合にPITよりも計算複雑性を低減すること。

提案手法

• SOTは、複数話者の発話を1つずつ逐次的に生成する1出力アテンションベースのエンコーダデコーダ（AED）モデルを採用する。
• 話者変更を示す特別な<sc>トークンを用いることで、デコーダが異なる話者からの発話を区別できる。
• 主なイノベーションの1つは、元の発話の開始時刻を活用して、O(S)の時間計算量で推論を可能にすること（Sは話者数）。
• アテンションメカニズムを活用し、エンコーダの埋め込みを時間軸に沿って前後左右にスキャンすることで、複数の重複話者の関連セグメントに注目できる。
• 話者に特化したアテンション（SAA）モジュールを統合し、話者固有の文脈を条件としてアテンションを制御することで性能を向上させる。
• 教師強化の発話文を話者開始時刻順に並べたシーケンス・ツー・シーケンスの目的関数に基づいてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 1つの出力AEDモデルは、可変話者数の重複音声を効果的に認識でき、PITを上回る性能を達成できるか？
• RQ2 SOTの話者出力を逐次生成する方式は、PITの独立した出力ヘッドと比較して、話者間依存関係をより良くモデル化できるか？
• RQ3 発話の開始時刻を活用することで、SOTはO(S)の複雑性で効率的な推論が可能か？
• RQ4 SOTは、重複音声入力における話者数の推定をどの程度正確に行えるか？
• RQ5 話者数が異なる状況下で、SOTはWERの観点からPITを上回るか？

主な発見

• SOTモデルは1話者状況で4.6%、2話者状況で11.2%、3話者状況で24.0%のWERを達成し、PITベースのモデルを顕著に上回った。
• 2話者混合音声では、SOTのWERは11.2%であったが、PITは11.9%であった。パrameter数も135.6M（SOT）対160.7M（PIT）と少ないにもかかわらず、SOTが優位であった。
• SOTは可変話者数に強く、単一話者データでも性能の低下を示さず、場合によっては単一話者ASRモデルを上回ることもあった。
• 1話者入力では99.8%、2話者入力では97.0%の話者数特定精度を達成し、話者数推定能力が非常に高いことが示された。
• 3話者SOTの学習速度は2出力PITに比べて約30%速く、話者数が増えるとその差は顕著に拡大した。
• 話者に特化したアテンション（SAA）の導入により、より小型のモデルでも1,2,3話者テストセットのWERが16.5%まで低下した。