[論文レビュー] Monaural source enhancement maximizing source-to-distortion ratio via automatic differentiation

Hiroaki NAKAJIMA, Yu Takahashi+2 more|arXiv (Cornell University)|Jun 15, 2018

Speech and Audio Processing参考文献 15被引用数 7

ひとこと要約

本論文は、自動微分を用いて歪み除去比（SDR）を最大化するように訓練された深層ニューラルネットワーク（DNN）を用いたモノラル音源強調手法を提案する。従来の方法が再構成誤差（例：L1/L2損失）や聴取的類似性（例：STOI）を最小化するのに対し、本手法はSDRを直接最適化することで、信号対雑音比（SNR）と相関するノイズ抑制を実現する。実験の結果、さまざまなSNR条件下で、L1、L2、STOIベースのベースラインと比較して、顕著に高いSDRおよびSIRを達成した。

ABSTRACT

Recently, deep neural network (DNN) has made a breakthrough in monaural source enhancement. Through a training step by using a large amount of data, DNN estimates a mapping between mixed signals and clean signals. At this time, we use an objective function that numerically expresses the quality of a mapping by DNN. In the conventional methods, L1 norm, L2 norm, and Itakura-Saito divergence are often used as objective functions. Recently, an objective function based on short-time objective intelligibility (STOI) has also been proposed. However, these functions only indicate similarity between the clean signal and the estimated signal by DNN. In other words, they do not show the quality of noise reduction or source enhancement. Motivated by the fact, this paper adopts signal-to-distortion ratio (SDR) as the objective function. Since SDR virtually shows signal-to-noise ratio (SNR), maximizing SDR solves the above problem. The experimental results revealed that the proposed method achieved better performance than the conventional methods.

研究の動機と目的

• 従来のDNNの目的関数が、信号類似性を重視する一方でノイズ抑制を十分に捉えないというモノラル音源強調分野における限界を是正すること。
• 信号対歪み比（SDR）を直接最適化することで、信号対雑音比（SNR）と歪みを反映する指標としてのSDRを用いることで、ノイズ低減性能を向上させること。
• 自動微分を用いたSDRベースの学習が、L1、L2、またはSTOIといった標準的な損失関数よりも優れた分離品質をもたらすことを示すこと。
• 特に低SNR条件下における、SDRをDNNの学習目的関数として用いる有効性を検証すること。

提案手法

• 本手法は、SDR計算のバックプロパゲーションを自動微分により行うことで、モノラル音源強調のためのDNNをエンドツーエンドで訓練可能にする。
• SDRは、推定信号をクリアな信号と一致するターゲット成分と、ノイズやアーティファクトを含む歪み成分に分解し、それらのパワー比を取ることで計算される。
• SDRの目的関数は $\text{SDR} = 10 \log_{10} \left( \frac{\| \mathbf{s}_{\text{target}} \|^2}{\| \mathbf{e}_{\text{distortion}} \|^2} \right) $ として定義され、ここで $\mathbf{e}_{\text{distortion}}$ はクリア信号部分空間への直交射影後の残差である。
• DNNは、SDRの負の値を最小化することで最適化を進め、SDRを最大化するように訓練される。学習には確率的勾配降下法を用い、早期停止を適用する。
• モデルアーキテクチャとして再帰的ニューラルネットワーク（RNN）を採用し、入力および出力シーケンスの長さを100として、重複する100サンプルのウィンドウで学習を行う。
• 本手法は、さまざまなSNR条件下（10 dB、0 dB、-10 dB）でL1、L2、STOIベースの目的関数と比較される。

実験結果

リサーチクエスチョン

• RQ1 SDRを学習目的関数として最大化することは、L1、L2、またはSTOIベースの損失関数と比較して、モノラル音源強調におけるノイズ抑制性能を向上させるか？
• RQ2 SDRベースの学習は、SDRと同時にインターフェアレンス比（SIR）の向上をもたらすか？ これにより、ノイズと干渉の低減が確認できるか？
• RQ3 重度のノイズ汚染が生じる低SNR条件下でも、本手法の性能は優れているか？
• RQ4 非自明な信号分解を含むSDRを最適化するために、自動微分が効果的に使用可能か？

主な発見

• 10 dB入力SNR条件下で、本手法は24.8 dBのSDRを達成し、L1（18.1 dB）およびL2（18.3 dB）ベースラインを顕著に上回った。
• 0 dB入力SNR条件下では、本手法が17.7 dBのSDRを達成したのに対し、L1（13.5 dB）およびL2（14.5 dB）は低かった。これは一貫した優位性を示している。
• -10 dB入力SNR条件下では、本手法が10.9 dBのSDRを達成した。これに対してL1（8.5 dB）およびL2（9.2 dB）は低く、高ノイズ環境下でも耐性があることが示された。
• 本手法はSIR値も高く（10 dB SNRで25.0 dB）、干渉および歪みの低減が確認された。
• 推定信号の視覚的検証から、本手法はL2ベースの推定と比較して、きしみのあるノイズアーティファクトをより効果的に低減していることが確認された。
• SDR目的関数はアマネチュアスケーリングをペナルティにしないため、推定信号のアマネチュアはクリア信号よりも低くなる可能性があるが、これはSDRスコアに影響を及えない。