[論文レビュー] Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits

Qingjian Lin, Lin Yang+4 more|arXiv (Cornell University)|Jun 28, 2021

Speech and Audio Processing参考文献 26被引用数 7

ひとこと要約

本稿では、疎結合した会話状況を扱うために重み付きSI-SNR損失を用いた、ターゲット音声分離と個人向け音声活動検出（VAD）の共同学習フレームワークを提案する。クリーンな疎結合会話状況において4.17 dBのSDR向上を達成し、深層ネットワーク層を通過させるのはターゲット音声のみに制限することで、最小限の性能低下で23%高速化された推論を実現した。

ABSTRACT

Target speech separation is the process of filtering a certain speaker's voice out of speech mixtures according to the additional speaker identity information provided. Recent works have made considerable improvement by processing signals in the time domain directly. The majority of them take fully overlapped speech mixtures for training. However, since most real-life conversations occur randomly and are sparsely overlapped, we argue that training with different overlap ratio data benefits. To do so, an unavoidable problem is that the popularly used SI-SNR loss has no definition for silent sources. This paper proposes the weighted SI-SNR loss, together with the joint learning of target speech separation and personal VAD. The weighted SI-SNR loss imposes a weight factor that is proportional to the target speaker's duration and returns zero when the target speaker is absent. Meanwhile, the personal VAD generates masks and sets non-target speech to silence. Experiments show that our proposed method outperforms the baseline by 1.73 dB in terms of SDR on fully overlapped speech, as well as by 4.17 dB and 0.9 dB on sparsely overlapped speech of clean and noisy conditions. Besides, with slight degradation in performance, our model could reduce the time costs in inference.

研究の動機と目的

• 訓練中にターゲット話者が静音または存在しない場合に標準的なSI-SNR損失が有効に機能しないという制限を解消すること。
• 訓練時に多様な重なり比を組み込むことで、現実世界の疎結合会話状況におけるターゲット音声分離性能を向上させること。
• 非ターゲット音声をネットワークの初期段階でプルーニングする個人向けVADモジュールを統合することで、推論時間を短縮すること。
• 共通のネットワークコンponentsを用いてターゲット音声分離と個人向けVADを共同で学習させ、効率性と性能の両立を図ること。
• 精度と計算コストのバランスを取ることで、ターゲット音声分離システムの実用的導入を可能にすること。

提案手法

• ターゲット音声の継続時間に基づいて重みを高く設定し、ターゲットが存在しない場合には0を返す重み付きSI-SNR損失を導入する。
• 共有エンコーダーと共有TCNスタックを用いた、ターゲット音声分離と個人向けVADの共同学習を提案する。
• 個人向けVADブランチがバイナリマスクを生成し、非ターゲット音声を無音化することで、分離ネットワークの予測に依存するのを軽減する。
• 非ターゲットセグメントの早期プルーニングを可能にするために、個人向けVADブランチをTCNブロックの初期段階に配置する。
• 両タスクが同じバックボーンを共有するマルチタスク学習設定を採用し、分離とVADのための別々のヘッドを設ける。
• 推論速度の評価にリアルタイム要因（RTF）を用い、VADブランチの配置に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット話者が存在しない訓練サンプルに対して、重み付きSI-SNR損失が勾配が未定義になるのを効果的に回避できるか？
• RQ2 ターゲット音声分離と個人向けVADを共同で学習することで、別々に学習する場合と比較して、疎結合会話状況における性能が向上するか？
• RQ3 個人向けVADによる早期プルーニングによって、顕著な性能低下を伴わずに推論時間を短縮できるか？
• RQ4 クリーンな場合とノイズ混在の疎結合会話状況におけるモデルの性能はどのように変化するか？また、重なり比の影響は何か？
• RQ5 速度と精度のバランスを最適化するには、個人向けVADブランチをネットワークのどの位置に配置すべきか？

主な発見

• 提案手法は、クリーンな疎結合会話状況においてベースライン比で4.17 dBのSDR向上を達成した。
• ノイズ混在の疎結合会話状況ではSDRが0.9 dB向上し、ノイズに強い性能を示したが、クリーンな状況に比べて向上幅は小さい。
• 完全に重なった会話状況ではSDRiが1.73 dB、SI-SNRiが2.23 dB向上し、最先端のX-TasNetを上回った。
• 個人向けVADブランチを2番目のTCNブロックの後ろに配置したことで、最良のベースライン比でRTFを23%低減し、SDRの低下はわずか1.47 dBにとどまった。
• 非重複セグメントでは最大20 dBのSDR向上を達成し、静音または単一話者領域における優れた性能を示した。
• 共同学習戦略により、早期の推論プルーニングが可能となり、現実世界のデータでは平均的な重なり比が低いことから、理論的には50%高速に動作する可能性を有する。