[論文レビュー] Building Corpora for Single-Channel Speech Separation Across Multiple Domains

Matthew Maciejewski, Gregory Sell+3 more|arXiv (Cornell University)|Nov 6, 2018

Speech and Audio Processing参考文献 12被引用数 6

ひとこと要約

本論文は、クリーンでニアフィールドの状態（WSJ0）から現実的でファーカンタクトな会話環境（CHiME-5 および Mixer 6）まで、多様なドメインにわたる高品質な合成単一チャネル音声分離データセットを作成するフレームワークを提示する。単一話者セグメンテーション、発話ペairリング、および順列不変訓練（uPIT）を含む体系的なパイプラインを用いて、著者らは、単一ドメインデータで訓練されたモデルと比較して、多様でマルチドメインのデータで訓練されたモデルが顕著に優れた一般化性能を示すことを実証した。統合訓練により、孤立した設定ではわずかな向上が得られるものの、すべての条件下で頑健な性能が達成された。

ABSTRACT

To date, the bulk of research on single-channel speech separation has been conducted using clean, near-field, read speech, which is not representative of many modern applications. In this work, we develop a procedure for constructing high-quality synthetic overlap datasets, necessary for most deep learning-based separation frameworks. We produced datasets that are more representative of realistic applications using the CHiME-5 and Mixer 6 corpora and evaluate standard methods on this data to demonstrate the shortcomings of current source-separation performance. We also demonstrate the value of a wide variety of data in training robust models that generalize well to multiple conditions.

研究の動機と目的

• 単一チャネル音声分離のための現実的で信頼できる評価データの不足に取り組むこと、特にファーカンタクトおよび会話的な環境において。
• 既存のコーパスから合成重ね合わせ音声データセットを生成する再現可能で高品質なパイプラインを開発すること。
• 標準的な音声分離モデルの多様な音響的条件下での一般化性能を評価すること。
• 複数ドメインのデータで訓練することにより、モデルの頑健性および条件間一般化性能が顕著に向上することを実証すること。

提案手法

• CHiME-5およびMixer 6コーパスに対して、Kaldiツールキットを用いて初期の単一話者セグメンテーションおよび音声活動検出を実施した。
• バランスの取れた話者出席を伴い、重複のない高品質な音声ミキシングを生成する、原則に基づいた発話ペアリング戦略を実装した。
• マグニチュードスペクトログラム上で、2層の双方向LSTMネットワークと平均二乗誤差損失を用いた順列不変訓練（uPIT）を適用した。
• 固定学習率0.001で200エポック、Adam最適化アルゴリズムを用いてモデルを訓練し、検証損失に基づいて最良のモデルを選択した。
• データの多様性の影響を評価するために、バランスの取れた話者数と100,000ミキシング拡張版を含む複数のトレーニングセットを生成した。
• 音声分離の標準指標として、歪み対信号比（SDR）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 音声分離において、クリーンでニアフィールドの状態から現実的でファーカンタクトな会話的環境に移行する際、モデルの性能はどの程度低下するか？
• RQ2 WSJ0のような単一ドメインで訓練されたモデルが、より現実的でマルチスプーカーのファーカンタクト環境に一般化できる範囲はどの程度か？
• RQ3 WSJ0、Mixer 6、CHiME-5などの複数ドメインにまたがる訓練データの多様性を高めることで、モデルの頑健性および一般化性能が向上するか？
• RQ4 訓練におけるデータ量とデータの多様性のどちらが、音声分離モデルの性能により大きな影響を与えるか？
• RQ5 複数ドメインの組み合わせで訓練された1つのモデルが、すべてのテスト条件で優れた性能を達成できるか？

主な発見

• WSJ0データで訓練されたモデルは、クリーンでニアフィールドのWSJ0テスト条件下で最高のSDRを達成したが、ファーカンタクトおよび会話的環境では性能が著しく低下した。
• 単一ドメインで訓練されたモデルは一般化性能が低かった：ニアフィールドで訓練されたモデルはファーカンタクト環境で、ファーカンタクトで訓練されたモデルはニアフィールド環境で劣悪な性能を示した。
• ニアフィールドデータで訓練されたMixer 6モデルは、CHiME-5のニアフィールドテストセットにおいて、CHiME-5のニアフィールドモデルを上回った。これは音声品質がモデル性能に影響を与える可能性を示唆している。
• Mixer 6でバランスの取れた話者数で訓練したモデルは、全データセットと比較してわずかだが顕著な性能低下を示した。これは、データ量が話者バランスよりも重要である可能性を示している。
• 複数ドメインの統合訓練データで訓練されたモデルは、すべてのテスト条件下でほぼ最適な性能を達成した。これは、データの多様性が頑健性を高めることを示している。
• 100,000ミキシング拡張版のMixer 6トレーニングセットは、主に一致する条件下でわずかな向上を示したが、ファーカンタクト環境での恩恵が顕著に見られた。