[論文レビュー] Speaker-Conditional Chain Model for Speech Separation and Extraction

Jing Shi, Jiaming Xu+3 more|arXiv (Cornell University)|Jun 25, 2020

Speech and Audio Processing参考文献 35被引用数 4

ひとこと要約

本論文では、変動する話者数を伴う完全に重複した長時間音声記録から、話者識別と音声源抽出を同時に実行する Speaker-Conditional Chain Model (SCCM) を提案する。順序付き入力の話者推論モジュールに続く話者条件付き音声抽出により、SCCM は複数ラウンドの会話において安定した性能を発揮し、長時間かつ重複する記録において、SI-SNRi および WER の両指標でベースラインモデルを上回る。

ABSTRACT

Speech separation has been extensively explored to tackle the cocktail party problem. However, these studies are still far from having enough generalization capabilities for real scenarios. In this work, we raise a common strategy named Speaker-Conditional Chain Model to process complex speech recordings. In the proposed method, our model first infers the identities of variable numbers of speakers from the observation based on a sequence-to-sequence model. Then, it takes the information from the inferred speakers as conditions to extract their speech sources. With the predicted speaker information from whole observation, our model is helpful to solve the problem of conventional speech separation and speaker extraction for multi-round long recordings. The experiments from standard fully-overlapped speech separation benchmarks show comparable results with prior studies, while our proposed model gets better adaptability for multi-round long recordings.

研究の動機と目的

• 固定された話者数を仮定する従来の音声分離モデルの限界に対処すること。
• 事前に話者数を知らずに、完全に重複した長時間音声記録から話者識別の同時推論と個々の音声源の抽出を可能にすること。
• 希な重複（例：約15％の重複）とセグメント間での動的な話者役割を伴う現実世界のシナリオにおける汎化性と安定性の向上。
• 清澄な音声源と話者識別ラベルを同時に提供することで、後続タスク（例：音声認識）を支援する統合フレームワークの構築。
• 従来のモデルが長時間記録におけるセグメント間で一貫した話者順序を維持できないという限界を克服すること。

提案手法

• モデルは、全スペクトログラム入力を用いて話者埋め込みの系列を出力する、系列対系列アーキテクチャを用いて話者識別を推論する。
• 推論された話者識別情報を条件入力として用い、個々の音声源を生成する音声抽出モジュールを実行する。
• チェーンルールによる条件付き確率の積を用いて、エンドツーエンドで学習する：P(音声源 | 混合音) = P(話者 | 混合音) × P(音声源 | 混合音, 話者)。
• 話者推論モジュールは全記録を処理するが、メモリオーバーフローを避けるために、抽出モジュールは4秒のランダムセグメントで処理する。
• 自然な会話のダイナミクスを模倣するため、異なる話者からの発話のランダムな時間シフトを加えて連結した合成された複数ラウンド記録を用いて学習する。
• 固定された話者埋め込みに依存するのではなく、話者関連の隠れ表現を学習することで、オープンボリューム話者タスクをサポートする。

Figure 1: The framework of the proposed Speaker-Conditional Chain Model (SCCM). (a) shows the whole strategy of our proposed SCCM; (b) is the module of speaker inference , which predicts the speaker identities and corresponding embeddings. (c) refers to the time-domain speech extraction module. This

実験結果

リサーチクエスチョン

• RQ1 変動する話者数を伴う完全に重複した長時間記録から、統合されたモデルが話者識別と音声源抽出を同時に実行できるか？
• RQ2 提案された話者条件付きチェーンモデルは、複数ラウンド会話が含まれる長時間記録において、ベースライン分離モデルと比較してどの程度の性能を示すか？
• RQ3 話者役割が時間経過とともに変化する場合でも、モデルはセグメント間で一貫した話者順序と性能を維持できるか？
• RQ4 モデルは、低重複率（約15％）と自然な話者交代を伴う現実世界のシナリオにどの程度一般化できるか？
• RQ5 モデルが生成する話者識別情報は、自動音声認識などの後続タスクの改善に有効に利用できるか？

主な発見

• SCCM は複数ラウンド記録でテストSI-SNRi 13.7を達成し、ベースラインの TasNet モデル（11.5）を上回り、長時間設定におけるより高い安定性と性能を示した。
• 同じ複数ラウンドベンチマークにおいて、40％の重複率で平均10.2％の WER 減少を達成し、重複率の上昇に対しても耐性があることを示した。
• 非重複セグメント（0S）では12.6％、高重複セグメント（40％）では26.8％の WER を維持しており、重複条件の変動に対しても一貫した性能を示した。
• 話者推論モジュールは時間経過に伴う話者活動パターンを的確に捉えており、アテンション可視化では話者交代と整合性があることが確認された。
• 従来のモデルがセグメント間で話者順序の不一致に苦しむのに対し、SCCM は長時間記録に対しより優れた適応性を示した。
• 話者識別情報を条件入力として組み込むことで、特に高重複状況下で後続の音声認識性能が向上した。

Figure 2: Visualization of one sample of the learned attention status in speaker inference module for overlapped speech in WSJ0-2mix.