[論文レビュー] Deep Speech Enhancement for Reverberated and Noisy Signals using Wide Residual Networks

Dayana Ribas, Jorge Llombart+2 more|arXiv (Cornell University)|Jan 3, 2019

Speech and Audio Processing参考文献 58被引用数 15

ひとこと要約

本稿では、残差接続を用いた1次元畳み込みを備えたワイドリーダンスネットワーク（WRN）を用いて、混响およびノイズの多い音声の時間的依存性をモデル化する深層音声強調手法を提案する。残差接続により、綺麗な音声の再構成が効果的に学習可能となり、特に低SNRおよび遠方音声条件下で、音声品質と自動音声認識（ASR）性能が顕著に向上し、従来の手法（MM-LSAなど）を上回る。

ABSTRACT

This paper proposes a deep speech enhancement method which exploits the high potential of residual connections in a wide neural network architecture, a topology known as Wide Residual Network. This is supported on single dimensional convolutions computed alongside the time domain, which is a powerful approach to process contextually correlated representations through the temporal domain, such as speech feature sequences. We find the residual mechanism extremely useful for the enhancement task since the signal always has a linear shortcut and the non-linear path enhances it in several steps by adding or subtracting corrections. The enhancement capacity of the proposal is assessed by objective quality metrics and the performance of a speech recognition system. This was evaluated in the framework of the REVERB Challenge dataset, including simulated and real samples of reverberated and noisy speech signals. Results showed that enhanced speech from the proposed method succeeded for both, the enhancement task with intelligibility purposes and the speech recognition system. The DNN model, trained with artificial synthesized reverberation data, was able to deal with far-field reverberated speech from real scenarios. Furthermore, the method was able to take advantage of the residual connection achieving to enhance signals with low noise level, which is usually a strong handicap of traditional enhancement methods.

研究の動機と目的

• 従来の統計的手法が非定常なノイズや混響に対処に苦労するという限界を是正すること。
• 現実の音響環境下で、下流のASRシステムのための音声の聞き取りやすさと耐障害性を向上させること。
• 深層学習、特にワイドリーダンスネットワーク（WRN）を活用し、音声信号内の複雑な時間的およびスペクトル的相関をモデル化すること。
• 従来の手法がしばしば失敗する低SNR状況における性能低下という一般的な問題を克服すること。
• 残差学習が、ノイズありおよび混響あり音声の両方の強調に効果的であることを示すこと。

提案手法

• 本手法は、時間方向に1次元畳み込みを適用することで、音声特徴系列の時間的文脈を捉えるワイドリーダンスネットワーク（WRN）アーキテクチャを採用する。
• 残差接続により学習の安定化が図られ、恒等写像の学習が可能となり、スキップ接続が元の信号を保持し、非線形パスが学習された補正を追加する。
• ネットワークは、ノイズあり・混響あり音声から綺麗な音声へのマッピングを学習するために、人工的に合成された混響データ上で端末から端末まで訓練される。
• 拡張畳み込みを用いてマルチスケールの受容野を実現し、時間領域における長距離依存性を捉える。
• 損失関数は、予測された特徴量とターゲットの綺麗な音声特徴量の平均二乗誤差（MSE）に基づき、バックプロパゲーションにより最適化される。
• 本手法は、REVERBチャレンジデータセットを用いて、客観的音声品質指標（LLR、CD）および自動音声認識（ASR）の語誤り率（WER）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 ワイドリーダンスネットワーク（WRN）アーキテクチャは、聞き取りやすさを保持したまま、混響およびノイズの多い音声信号を効果的に強調できるか？
• RQ2 WRNにおける残差学習メカニズムは、従来の統計的手法（MM-LSAなど）と比較して、性能をどのように向上させるか？
• RQ3 合成された混響データで訓練されたモデルが、実世界の遠方・混響音声状況にどの程度一般化できるか？
• RQ4 従来の手法がしばしば失敗する低信号対雑音比（SNR）状況でも、本手法は性能を維持または向上させられるか？
• RQ5 WRNベースの強調は、シミュレートされた記録および実際の録音を含む多様な音響環境下で、下流のASR性能を向上させられるか？

主な発見

• WRNベースの強調手法は、すべてのテスト条件下で、LLRおよびCDという音声品質指標、およびASR語誤り率（WER）において、MM-LSAベースラインを顕著に上回った。
• REVERB開発データセットでは、WRNモデルは遠方混響音声に対して、GMM-HMMで45.89%、GMM-HMM MCT + fMLLRで47.29%のWERを達成したのに対し、ベースラインのノイズあり入力では89.59%であった。
• REVERB評価データセットでは、WRNモデルはGMM-HMMで44.14%、GMM-HMM MCT + fMLLRで46.85%のWERを達成したのに対し、ベースラインのノイズあり入力では88.41%であった。
• モデルは、人工的混響を用いた合成データでのみ学習されたにもかかわらず、実世界の遠方シナリオへの一般化能力を強く示した。
• 従来の強調技術が困難とされる低SNR音声の強調に成功し、残差学習が綺麗な信号成分を効果的に保持できることを示した。
• 残差機構により、入力信号の線形ショートカットに対する補正を学習可能となり、安定した学習と効果的な信号再構成が実現された。