[論文レビュー] Noisy-target Training: A Training Strategy for DNN-based Speech Enhancement without Clean Speech

Takuya Fujimura, Yuma Koizumi+2 more|arXiv (Cornell University)|Jan 21, 2021

Speech and Audio Processing被引用数 7

ひとこと要約

本稿では、クリーン音声のターゲットを必要とせず、ノイズの強い信号で学習するDNNベースの音声強調手法であるNoisy-target Training (NyTT)を提案する。同じ音声信号の徐々にノイズの強いバージョンを入力およびターゲットとして用いることで、訓練時とテスト時のデータ分布に不一致がある場合でも、クリーンターゲット学習と同等の性能を達成でき、ノイズのSNR閾値によってノイズの強い信号が効果的な「クリーン」ターゲットとして使える条件を示している。

ABSTRACT

Deep neural network (DNN)-based speech enhancement ordinarily requires clean speech signals as the training target. However, collecting clean signals is very costly because they must be recorded in a studio. This requirement currently restricts the amount of training data for speech enhancement to less than 1/1000 of that of speech recognition which does not need clean signals. Increasing the amount of training data is important for improving the performance, and hence the requirement of clean signals should be relaxed. In this paper, we propose a training strategy that does not require clean signals. The proposed method only utilizes noisy signals for training, which enables us to use a variety of speech signals in the wild. Our experimental results showed that the proposed method can achieve the performance similar to that of a DNN trained with clean signals.

研究の動機と目的

• DNNベースの音声強調におけるクリーン音声データの高コストおよび不足問題に対処すること。
• スタジオ録音のクリーン音声を必要とせず、ノイズ信号のみで学習することによって、クリーン音声の必要性を排除すること。
• クリーンデータが利用できない状況で、ノイズ信号が効果的な学習ターゲットとして機能するかどうかを調査すること。
• ノイズターゲット学習がクリーンターゲット学習と同等の性能を達成する条件を同定すること。
• ノイズ分布およびSNRが提案手法の有効性に与える影響を分析すること。

提案手法

• 本手法は、より重度に汚染されたバージョン $\bm{x}' = \bm{x} + \bm{n}$ から、ノイズ信号 $\bm{x} = \bm{s} + \bm{n}^{(\text{obs})}$ を予測するDNNを学習する。ここで $\bm{n}$ は追加のノイズである。
• 訓練データは、既存のノイズ信号 $\bm{x}$ に異なるノイズ $\bm{n}$ を追加することで合成され、クリーン音声の必要性を回避する。
• 本手法はNoise2Noiseにインspiredされているが、音声に特化して、ターゲットがクリーンではなくノイズであるように適応されている。
• モデルは追加のノイズ $\bm{n}$ のみを除去し、元のノイズ $\bm{n}^{(\text{obs})}$ を保持する。
• 本手法は、追加ノイズ $\bm{n}$ の分布が観測ノイズ $\bm{n}^{(\text{obs})}$ の分布と重複しているという仮定に依存している。
• 実験では、STFTを用いたT-Fマスク推定が用いられ、評価にはSI-SDRおよびPESQ指標が使用された。

実験結果

リサーチクエスチョン

• RQ1 クリーン音声ターゲットが一切ない状況でも、DNNが音声強調に対して効果的に学習可能か？
• RQ2 NyTTがクリーンターゲット学習と同等の性能を達成するための、ノイズターゲット信号の最小SNRは何か？
• RQ3 追加ノイズ $\bm{n}$ の分布がNyTTの性能に与える影響は？
• RQ4 訓練時とテスト時のデータ分布に不一致がある場合、NyTTは標準的な学習法よりも一般化性能が優れているか？
• RQ5 SNR ≥ 15 dB のノイズ信号は、学習におけるクリーン音声の代替として効果的と見なせるか？

主な発見

• NyTTは、追加ノイズにTAU-2020を使用した場合、SI-SDRで12.09 dBの向上を達成し、クリーンターゲット学習の12.18 dBに近づいた。
• ノイズターゲット $\bm{x}$ のSNRが15 dB以上の場合、NyTTの性能はクリーンターゲット学習とほとんど区別がつかなかった。
• $\bm{x}$ のSNRが0 dB未満になると性能が著しく低下し、この方法が失敗する閾値が存在することが示された。
• タスク2のノイズ（オフィス内の音声イベント）を用いたNyTTは、SI-SDRが9.63 dBにとどまり、性能が低かった。これは、$\bm{n}^{(\text{obs})}$ と分布が重複しないためである。
• t-SNE可視化により、有効なノイズタイプ（DEMAND, TAU-2020, CHiME3）は $\bm{n}^{(\text{obs})}$ と分布が重複しているのに対し、タスク2のノイズは重複していなかった。
• 本手法はクリーン音声を一切使用せずにDNNを学習可能であり、データの不一致が生じる状況下でも、クリーンターゲット学習と同等の結果を達成した。