[論文レビュー] Listening to Sounds of Silence for Speech Denoising

Ruilin Xu, Rundi Wu+3 more|arXiv (Cornell University)|Oct 22, 2020

Speech and Audio Processing参考文献 102被引用数 23

ひとこと要約

本論文では、モノラル音声から自然に発生する無音区間（単語や文の間の間隔）を活用して、時間的に変化するノイズ特性を学習する深層学習モデルを提案する。これらの無音セグメントを検出することで、モデルは動的ノイズプロファイルを推定し、ノイズを含む音声からノイズを低減する。複数のデータセットで最先端の性能を達成しており、未学習の言語や実世界の録音（最大33.34 dBのノイズ低減）に対しても優れた一般化性能を示している。

ABSTRACT

We introduce a deep learning model for speech denoising, a long-standing challenge in audio analysis arising in numerous applications. Our approach is based on a key observation about human speech: there is often a short pause between each sentence or word. In a recorded speech signal, those pauses introduce a series of time periods during which only noise is present. We leverage these incidental silent intervals to learn a model for automatic speech denoising given only mono-channel audio. Detected silent intervals over time expose not just pure noise but its time-varying features, allowing the model to learn noise dynamics and suppress it from the speech signal. Experiments on multiple datasets confirm the pivotal role of silent interval detection for speech denoising, and our method outperforms several state-of-the-art denoising methods, including those that accept only audio input (like ours) and those that denoise based on audiovisual input (and hence require more information). We also show that our method enjoys excellent generalization properties, such as denoising spoken languages not seen during training.

研究の動機と目的

• モノラル音声のみを用いて、騒音環境下での音声ノイズ低減という長年の課題に取り組む。
• 手動で無音区間を選択が必要な従来の手法（例：スペクトル減算）の限界を克服し、非定常ノイズ下でも効果を発揮する。
• 自然な会話の間隔を活用してノイズ推定と低減を実行する、完全に自動でエンドツーエンドに学習可能な深層学習モデルを構築する。
• 音声視覚入力が不要な状況でも、未学習の言語や実世界の音声シナリオへの一般化性能を向上させる。
• 無音区間検出が、効果的な音声ノイズ低減において極めて重要であることを示し、動画入力を利用する手法を上回ることすら可能である。

提案手法

• モデルは3つのコンponentから構成される：音声信号内の間隔を特定する無音区間検出ヘッド。
• 検出された無音区間を用いて時間的に変化するノイズ特徴を推定するノイズ推定ヘッド。これはノイズプロファイルの補完（インpainting）プロセスとして機能する。
• 推定されたノイズを用いて入力音声信号をクリアに保つノイズ低減ヘッド。残存ノイズを最小化することを目的とする。
• 自己教師あり学習を無音区間を通じて実施し、トレーニング中にクリアな音声リファレンスが不要になる。
• アーキテクチャは、ペaired clean-noisyデータや動画入力が不要な状態で、生のモノラル音声からエンドツーエンドに学習される。
• 無音区間検出は、誤検出（ファルス・ポジティブ）を最小限に抑えるように最適化されている。誤検出はノイズ推定に音声成分が混入し、ノイズ低減性能を著しく低下させるため。

実験結果

リサーチクエスチョン

• RQ1 音声に自然に発生する無音区間を有効に活用することで、音声ノイズ低減のための時間的に変化するノイズ特性を学習できるか？
• RQ2 無音区間を活用する深層学習モデルは、最先端の音声のみおよび音声視覚統合型ノイズ低減手法を上回る性能を示すか？
• RQ3 モデルは、トレーニング時に見られなかった言語や実世界の音声録音に対し、どの程度一般化できるか？
• RQ4 無音区間検出の誤り、特に誤検出（ファルス・ポジティブ）と誤検出（ファルス・ネガティブ）の両者に対して、ノイズ低減性能はどの程度感受性を示すか？
• RQ5 合成データや限定的なデータで学習したモデルは、多様な実世界の騒音環境に対し、効果的に一般化できるか？

主な発見

• 本モデルは、自身の AVSPEECH+Audioset データセットで学習した場合、VoiceBank-DEMAND テストセットで PESQ スコア 3.16 を達成し、同じデータセットで微調整されたベースラインモデルを上回った。
• データセット間での一般化性能では、わずかな性能低下しか示さない（例：AD で学習し AA でテストした場合、PESQ は 2.30 から 2.12 に低下）。これは強力な一般化性能を示している。
• 実世界の録音では、著者らの AVSPEECH+Audioset データセットで学習したモデルが平均 22.27 dB のノイズ低減を達成した。これは、VoiceBank-DEMAND で学習したモデル（12.60 dB）を著しく上回った。
• スペイン語の楽曲の一部では、最大 33.34 dB のノイズ低減が達成され、複雑で非定常なノイズ環境下でも高い有効性を示した。
• 無音区間検出における誤検出（ファルス・ポジティブ）は、誤検出（ファルス・ネガティブ）よりも顕著にノイズ低減品質の低下を引き起こした。これは、ノイズ推定が音声成分による汚染に対して極めて感受性であることを示している。
• PESQ、STOI、CSIG、CBAK、COVL といったすべての評価指標において、音声のみおよび音声視覚統合型の最先端手法を上回った。強いノイズ条件下でも同様の優位性を示した。