[論文レビュー] X-TaSNet: Robust and Accurate Time-Domain Speaker Extraction Network

Zining Zhang, Bingsheng He+1 more|arXiv (Cornell University)|Oct 24, 2020

Speech and Audio Processing参考文献 20被引用数 8

ひとこと要約

X-TaSNet は、事前学習済みのスピーカー検証モデルを畳み込み型 TaSNet フレームワークに統合した、時間領域におけるスピーカー抽出のための新規ネットワークである。これにより、対象スピーカーが存在しない場合でも、ロバストかつ正確にターゲットスピーカーの声を抽出できる。歪みに基づく損失関数と交互学習スキームを導入することで、先行手法に比べて SDRi と SI-SNRi を倍増させ、最先端の性能を達成した。スコアは 95.4% のスピーカーID正確度を達成した。

ABSTRACT

Extracting the speech of a target speaker from mixed audios, based on a reference speech from the target speaker, is a challenging yet powerful technology in speech processing. Recent studies of speaker-independent speech separation, such as TasNet, have shown promising results by applying deep neural networks over the time-domain waveform. Such separation neural network does not directly generate reliable and accurate output when target speakers are specified, because of the necessary prior on the number of speakers and the lack of robustness when dealing with audios with absent speakers. In this paper, we break these limitations by introducing a new speaker-aware speech masking method, called X-TaSNet. Our proposal adopts new strategies, including a distortion-based loss and corresponding alternating training scheme, to better address the robustness issue. X-TaSNet significantly enhances the extracted speech quality, doubling SDRi and SI-SNRi of the output speech audio over state-of-the-art voice filtering approach. X-TaSNet also improves the reliability of the results by improving the accuracy of speaker identity in the output audio to 95.4%, such that it returns silent audios in most cases when the target speaker is absent. These results demonstrate X-TaSNet moves one solid step towards more practical applications of speaker extraction technology.

研究の動機と目的

• 既存の時間領域音声分離モデル（例：TaSNet）の限界、特にターゲットスピーカーが存在しない場合のスピークャー固有のターゲティングの欠如とロバスト性の不足に取り組むこと。
• スピーカー検証と時間領域での音声分離を統合した包括的なフレームワークを構築し、スピーカー数の事前知識が不要となるようにすること。
• ターゲットスピーカーが混合音声に存在しない実世界の状況において、信頼性と音声品質を向上させること。
• スピーカー不在検出における実用的性能をよりよく反映するため、SISI-SNRi および NSR といった新しい評価指標を導入すること。

提案手法

• X-TaSNet は、参照音声のスピーカープリンタスを入力混合音に埋め込むために、事前学習済みのスピーカー検証モデル（スピーカーエンコーダー）を Conv-TaSNet に統合した。
• モデルは、入力波形を埋め込みベクトルに変換する学習可能なエンコーダーを用い、これに参照音声からのスピーカー埋め込みを連結する。
• マスク予測を最適化するため、歪みに基づく新しい損失関数を導入し、ノイズやスピーカー不在状態に対するロバスト性を向上させた。
• 分離とスピーカー検証の両コンponentを同時に最適化するため、交互学習スキームを採用し、スピーカーIDと出力品質の整合性を高めた。
• ターゲットスピーカーが検出されない場合には静音出力を生成するスピーカー存在検出機構を統合し、不在状況における信頼性を向上させた。
• スピーカー不在時の性能を公平に評価するため、SISI-SNRi（サイレントインヴァリエント スケールインvariant SNR改善）および NSR（ネガティブエネルギー率）という新しい指標を提案した。

Figure 1: The overall workflow of X-TaSNet.

実験結果

リサーチクエスチョン

• RQ1 ターゲットスピーカーが存在しない場合でも、高品質な出力を維持できるように、時間領域音声分離モデルのロバスト性を高めることは可能か？
• RQ2 スピーカー検証の知識を時間領域分離ネットワークに効果的に統合することで、スピーカー数の事前知識がなくても、正確なスピークャー固有抽出が可能になるか？
• RQ3 音声品質とスピーカーID正確度の両方を向上させるために、最も効果的な損失関数とトレーニング戦略は何か？
• RQ4 ターゲットスピーカーが混合音声に存在しない場合に、性能を公平に評価するための評価指標をどのように再定義すべきか？
• RQ5 提案手法は、音声品質と信頼性の両面で、既存のスピーカー抽出モデルをどの程度上回るか？

主な発見

• X-TaSNet は 95.4% のスピーカーID正確度を達成し、ターゲットスピーカーが存在しない場合に静音出力を返すことで、信頼性が著しく向上した。
• 先行手法の VoiceFilter に比べ、SDRi と SI-SNRi の性能を倍増させ、LibriCSS データセットで 15.57 の SISI-SNRi と 4.3% の NSR を達成した。
• スピーカー存在検出を内蔵する X-TaSNet-SPIT は、72.4% の NER（ネガティブエネルギー率）を達成し、効果的な不在検出を示した。
• SISI-SNRi 指標は、正しいスピーカーがターゲットの場合の音声品質を的確に捉えており、静音出力における負の SI-SNRi 値のバイアスを回避できた。
• X-TaSNet は、音声品質（7.31 対 15.57 SISI-SNRi）とロバスト性の両面で VoiceFilter を上回り、特に不在検出シナリオで顕著な優位性を示した。
• 歪みに基づく損失関数と交互学習スキームにより、ノイズ混在や未知の状況下でもモデルのロバスト性と一般化性能が顕著に向上した。

Figure 2: The distribution of extracted absent speakers’ voice energy in dB. Voicefilter and X-TaSNet have scale difference since our measure is not scale-invariant. X-TaSNet returns silent audio over most of the arbitrary audios.