[論文レビュー] Raw Waveform-based Speech Enhancement by Fully Convolutional Networks

Szu‐Wei Fu, Yu Tsao+2 more|arXiv (Cornell University)|Mar 7, 2017

Speech and Audio Processing参考文献 28被引用数 35

ひとこと要約

本稿では、スペクトル領域処理を回避することで高周波成分をよりよく保存する、エンド・ツー・エンドの生波形ベース音声強調のための完全畳み込みネットワーク（FCN）を提案する。FCNは、パrameter数の0.2%しか使用しないにもかかわらず、STOIおよびPESQスコアでロジスティックパワースペクトル（LPS）ベースのDNNおよびCNNモデルを上回り、騒音環境下での音声の聞き取りやすさと品質回復の両面で優れた性能を示している。

ABSTRACT

This study proposes a fully convolutional network (FCN) model for raw waveform-based speech enhancement. The proposed system performs speech enhancement in an end-to-end (i.e., waveform-in and waveform-out) manner, which dif-fers from most existing denoising methods that process the magnitude spectrum (e.g., log power spectrum (LPS)) only. Because the fully connected layers, which are involved in deep neural networks (DNN) and convolutional neural networks (CNN), may not accurately characterize the local information of speech signals, particularly with high frequency components, we employed fully convolutional layers to model the waveform. More specifically, FCN consists of only convolutional layers and thus the local temporal structures of speech signals can be efficiently and effectively preserved with relatively few weights. Experimental results show that DNN- and CNN-based models have limited capability to restore high frequency components of waveforms, thus leading to decreased intelligibility of enhanced speech. By contrast, the proposed FCN model can not only effectively recover the waveforms but also outperform the LPS-based DNN baseline in terms of short-time objective intelligibility (STOI) and perceptual evaluation of speech quality (PESQ). In addition, the number of model parameters in FCN is approximately only 0.2% compared with that in both DNN and CNN.

研究の動機と目的

• ロジスティックパワースペクトル（LPS）のようなスペクトル表現に依存する既存の音声強調手法の限界、特に高周波成分の歪みを是正するため。
• 生波形を直接モデル化することで、騒音環境下での音声の聞き取りやすさと品質を向上させるため。
• DNNおよびCNNベースラインと比較して、性能を維持または向上させつつモデルの複雑さとパラメータ数を削減するため。
• 完全畳み込みネットワーク（FCN）が音声信号の局所的時間的構造をどのように保持するかを調査するため。
• エンド・ツー・エンドの波形処理が、従来の2段階処理アプローチを上回ることを実証するため。

提案手法

• 提案モデルは、完全畳み込み層（全結合層を含まない）のみを用いて、生波形を直接処理することで、入力波形から出力強調波形へのエンド・ツー・エンド学習を可能にする。
• 感受野を拡大しながらパラメータ数を増やさないために、ドーリエートド畳み込みを採用し、長距離依存性を効果的にモデル化する。
• 強調波形とクリアな参照波形との間で平均二乗誤差（MSE）損失を用いて学習を行う。
• モデルは完全畳み込みアーキテクチャであるため、入力シーケンスの長さが可変でも、ネットワーク全体で空間的（時間的）分解能を維持できる。
• 微細な時間的詳細、特に高周波成分においても保持できるように、プーリング層を避ける。
• 中間のスペクトル表現を必要とせず、生波形ペア（ノイズあり vs. クリア）をエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みネットワーク（FCN）は、スペクトル変換を経ずに生波形上でエンド・ツー・エンドの音声強調を効果的に行えるか？
• RQ2 スペクトル特徴量上で動作するDNNおよびCNNモデルと比較して、FCNアーキテクチャは高周波成分をよりよく保持できるか？
• RQ3 FCNは、ベースラインモデルと比較して、パラメータ数を大幅に削減しながらも、性能を維持または向上させられるか？
• RQ4 STOIおよびPESQなどの目的指標において、FCNベースの強調処理はLPSベースのDNNおよびCNNベースラインと比べてどの程度優れているか？
• RQ5 FCNにおける全結合層の欠如は、音声信号の局所的時間的構造の保持および一般化性能の向上に寄与するか？

主な発見

• FCNモデルは、LPSベースのDNNベースラインと比較して、短時間音声理解性（STOI）および音声品質の主観的評価（PESQ）スコアが上回っている。
• FCNモデルは、スペクトル特徴量上で動作するDNNおよびCNNモデルがしばしば不十分に回復する高周波成分を効果的に回復している。
• FCNのモデルパラメータ数は、DNNおよびCNNベースラインの約0.2%にとどまり、モデルの複雑さが顕著に低減されている。
• FCNは、STOIおよびPESQの両面でLPSベースのDNNベースラインを上回っており、エンド・ツー・エンド波形処理の優位性を示している。
• 完全畳み込みアーキテクチャは、全結合層を含むモデルと比較して、特に高周波領域において局所的時間的構造をより効果的に保持している。
• 極めて少ないパラメータ数で、波形ベース音声強調分野における最先端の性能を達成しており、高い効率性と有効性を示している。