[論文レビュー] Self-supervised Learning for Speech Enhancement

Yu-Che Wang, Shrikant Venkataramani+1 more|arXiv (Cornell University)|Jun 18, 2020

Speech and Audio Processing参考文献 15被引用数 20

ひとこと要約

本論文は、対応するクリアな音声とノイズのラベルを必要とせず、クリアな音声とノイズ混合音声の両方のデータ上で学習する自己教師あり学習フレームワークを提案する。クリアな音声とノイズ混合音声の両方で訓練されたオートエンコーダーが潜在表現を共有することで、モデルはノイズの入力をクリアな出力にマッピングする能力を自律的に学習する。この手法は、リバーブのある部屋やストリートノイズを含む多様なノイズ環境において、スペクトル減算法を常に上回る一貫した性能向上を達成する。

ABSTRACT

Supervised learning for single-channel speech enhancement requires carefully labeled training examples where the noisy mixture is input into the network and the network is trained to produce an output close to the ideal target. To relax the conditions on the training data, we consider the task of training speech enhancement networks in a self-supervised manner. We first use a limited training set of clean speech sounds and learn a latent representation by autoencoding on their magnitude spectrograms. We then autoencode on speech mixtures recorded in noisy environments and train the resulting autoencoder to share a latent representation with the clean examples. We show that using this training schema, we can now map noisy speech to its clean version using a network that is autonomously trainable without requiring labeled training examples or human intervention.

研究の動機と目的

• 教師あり音声強調が高価な対応するクリア・ノイズデータを必要とするという制限を解消すること。
• 人為的なターゲットなしに、現実世界のノイズ環境で自律的に音声強調モデルを訓練できること。
• 対応しないクリアな音声とノイズ混合音声データを用いた音声ノイズ除去の自己教師あり表現学習を検討すること。
• 再トレーニングやクリアなテスト混合音声へのアクセスなしに、未観測のテスト条件に一般化できる手法を開発すること。
• リバーブや非定常的ストリートノイズを含む多様なノイズタイプを持つ実世界のデータセット上で、アプローチを評価すること。

提案手法

• クリアな音声のスペクトログラムを用いて、クリア音声オートエンコーダー（CAE）を訓練し、共有された潜在表現を学習する。
• 同じ潜在空間を用いて、ノイズ混合音声のデータ上で混合オートエンコーダー（MAE）を訓練し、ドメイン間マッピングを可能にする。
• マスクされた入力パッチからスペクトログラムを再構築するために、1次元の逆畳み込み層とソフトプラス活性化関数を用いたマスクオートエンコーダー（MAE）アーキテクチャを採用する。
• 訓練の安定化と表現品質の向上のため、EQ正規化およびバッチ正規化層を適用する。
• 推論段階で、クリアなターゲットが不要な状態で、共有された潜在空間を活用してノイズ入力をクリアな出力にマッピングする。
• ベースラインとしてスペクトル減算法を用い、PESQ、CSIG、CBAK、COVLの指標を用いて、主観的品質と話者の理解度を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、対応するクリア・ノイズデータがなくても音声強調を可能にするか？
• RQ2 モデルは未観測のテスト条件や話者アイデンティティにどの程度一般化するか？
• RQ3 訓練データにおける純粋なノイズの割合を増やすことで、多様なノイズタイプへの耐性が向上するか？
• RQ4 共有表現学習を通じて、モデルは暗黙的にリバーブを除去できるか？
• RQ5 非定常的ノイズ環境下で、信号対ノイズ比（SNR）に応じて性能はどのように変化するか？

主な発見

• 提案された自己教師あり音声強調（SSE）モデルは、DAPSデータセットにおいて、PESQ、CSIG、CBAK、COVLの全指標でスペクトル減算法を常に上回る。
• 訓練データに含まれる純粋なノイズ録音の割合が増えるほど性能が向上し、多様なノイズタイプへの一般化能力が向上することが示された。
• BBC Sound Effectsデータセットにおいて、高SNR条件（10 dB）でも顕著な性能向上を達成し、特に非定常的ストリートノイズ環境でより大きな改善が観察された。
• 非公式な聴取テストでは、モデルがリバーブを低減している可能性が示唆されており、リバーブ除去タスクへの応用可能性を示唆している。
• 訓練データとテストデータが話者およびスクリプトの両方で不一致であるため、未観測の話者や発話に対しても一般化が可能である。
• 共有された潜在空間により、ラベル付き例や人為的介入なしに、ノイズ混合音声からクリアな音声への効果的なマッピングが実現された。