[論文レビュー] Dynamic Noise Embedding: Noise Aware Training and Adaptation for Speech Enhancement

Joohyung Lee, Youngmoon Jung+2 more|arXiv (Cornell University)|Aug 27, 2020

Speech and Audio Processing参考文献 40被引用数 11

ひとこと要約

本稿では、音声活動検出（VAD）を用いて非音声（ノイズのみ）フレームを特定し、シンプルな順方向ニューラルネットワークを介してノイズ適応埋め込みを抽出することで、ノイズに配慮した音声強調のためのトレーニング手法であるダイナミックノイズ埋め込み（DNE）を提案する。DNEは入力特徴に連結され、非定常的かつ未知のノイズ環境における耐性を向上させ、未知のノイズ環境においてPESQ（+8.58%）およびSTOI（+11.6%）で顕著な向上を達成し、多様なニューラルネットワークアーキテクチャ全体で一貫した改善を示した。

ABSTRACT

Estimating noise information exactly is crucial for noise aware training in speech applications including speech enhancement (SE) which is our focus in this paper. To estimate noise-only frames, we employ voice activity detection (VAD) to detect non-speech frames by applying optimal threshold on speech posterior. Here, the non-speech frames can be regarded as noise-only frames in noisy signal. These estimated frames are used to extract noise embedding, named dynamic noise embedding (DNE), which is useful for an SE module to capture the characteristic of background noise. The DNE is extracted by a simple neural network, and the SE module with the DNE can be jointly trained to be adaptive to the environment. Experiments are conducted on TIMIT dataset for single-channel denoising task and U-Net is used as a backbone SE module. Experimental results show that the DNE plays an important role in the SE module by increasing the quality and the intelligibility of corrupted signal even if the noise is non-stationary and unseen in training. In addition, we demonstrate that the DNE can be flexibly applied to other neural network-based SE modules.

研究の動機と目的

• 従来の手法がノイズ特性の不一致により困難をきたす非定常的かつ未知のノイズ環境における音声強調の耐性を向上させること。
• 明示的なノイズラベルを必要とせず、背景ノイズ特性を動的に捉えるノイズに配慮したトレーニングメカニズムの開発。
• VADが予測した非音声フレームをノイズ情報のソースとして用いることで、VADと音声強調モジュールの共同最適化を可能にすること。
• さまざまなディープラーニングベースの音声強調アーキテクチャを強化できる柔軟でプラグイン可能なノイズ埋め込み（DNE）の設計。
• 特に困難なノイズ条件下において、音声品質（PESQ）と聞き取りやすさ（STOI）の両方を向上させるDNEの有効性の実証。

提案手法

• 音声後抽率の閾値を適用することで、VADが音声が含まれない可能性の高いフレームを特定し、非音声フレームを検出する。
• VADの出力を用いて、ノイズ音声信号からノイズのみのフレームを抽出し、ノイズ表現の基盤とする。
• これらの推定ノイズのみフレームのスペクトルの大きさを、シンプルな順方向ニューラルネットワーク（FCL）が処理し、動的ノイズ埋め込み（DNE）を生成する。
• DNEは、音声強調（SE）モジュールの入力音響特徴（例：ログパワースペクトログラム）に連結され、現在のノイズ特性に基づいてモデルを条件づける。
• SEとVADモジュールをエンドツーエンドで共同トレーニングすることで、DNEがノイズに配慮した形で最適化される。
• 本手法はU-Net、DDAE、BLSTMなど複数のバックボーンアーキテクチャに適用され、汎用性と柔軟性が実証された。

実験結果

リサーチクエスチョン

• RQ1 VADによって得られる非音声フレームは、背景ノイズ特性を推定するための代替的ノイズ成分として信頼できるか？
• RQ2 動的に学習されたノイズ埋め込み（DNE）を組み込むことで、未知および非定常的ノイズ環境における音声強調性能が向上するか？
• RQ3 VADにおける音声後抽率の閾値の選択が、DNEの品質と耐性にどのように影響するか？
• RQ4 DNEは、多様なディープラーニングベースの音声強調アーキテクチャ間で効果的に転送可能で、性能向上をもたらすか？
• RQ5 DNEを用いたVADとSEモジュールの共同トレーニングは、独立または事前学習済みモジュールの組み合わせよりも効果的か？

主な発見

• 提案されたDNE手法は、ベースラインのU-Netと比較して、未知のノイズ環境においてPESQで相対的に8.58%向上、STOIで11.6%向上を達成し、ノイズ不一致に対する強い耐性を示した。
• DNEは、一時的で非定常的なノイズタイプのマシンガンノイズにおいても顕著な性能向上を示し、一時的かつ予測不能なノイズの処理における有効性を裏付けた。
• VADベースのノイズフレーム選択における最適な閾値は0.3であった。これはフレームの信頼性と十分な数の両立を図るものであり、0.3未満の閾値ではフレーム数不足により性能が低下した。
• 推定ノイズフレームの平均（CN）を用いることで性能向上が得られたが、これはノイズフレームが信頼できる場合に限る。一方、全フレームの単純平均（SN）は性能を劣化させた。
• DNEは、U-Net、DDAE、BLSTMなど複数のアーキテクチャで一貫して性能向上を示し、補助特徴としての汎用性と柔軟性を実証した。
• アブレーションスタディにおいて、DNEはベースラインおよび代替のノイズ推定手法を上回り、特に未知のノイズ条件下で顕著な優位性を示した。これにより、ノイズに配慮したトレーニングにおけるDNEの価値が確認された。