[論文レビュー] Improved Speech Enhancement with the Wave-U-Net

Craig Macartney, Tillman Weyde|arXiv (Cornell University)|Nov 27, 2018

Speech and Audio Processing参考文献 10被引用数 56

ひとこと要約

本論文では Wave-U-Net の時系列ドメインアーキテクチャを音声強化に適用し、Voice Bank/VCTK セットアップにおいて従来法より客観指標が改善されることを示す。音声には歌唱ボイス分離より小さなネットワークで十分である。

ABSTRACT

We study the use of the Wave-U-Net architecture for speech enhancement, a model introduced by Stoller et al for the separation of music vocals and accompaniment. This end-to-end learning method for audio source separation operates directly in the time domain, permitting the integrated modelling of phase information and being able to take large temporal contexts into account. Our experiments show that the proposed method improves several metrics, namely PESQ, CSIG, CBAK, COVL and SSNR, over the state-of-the-art with respect to the speech enhancement task on the Voice Bank corpus (VCTK) dataset. We find that a reduced number of hidden layers is sufficient for speech enhancement in comparison to the original system designed for singing voice separation in music. We see this initial result as an encouraging signal to further explore speech enhancement in the time-domain, both as an end in itself and as a pre-processing step to speech recognition systems.

研究の動機と目的

• Wave-U-Net を用いて波形と位相情報を共同モデリングするエンドツーエンドの時系列音声強化を動機づけ、評価する。
• 標準ベンチマークで Wave-U-Net が最先端の音声強化法を上回るかを検討する。
• 音声強化の性能に対するネットワークサイズの影響を評価する。
• Wiener フィルタリングおよび SEGAN のベースラインと Wave-U-Net を比較し、音声強化タスクにおける有効性を確立する。

提案手法

• モノラル混合信号から2つのソースを予測するために、ダウンサンプリングとアップサンプリングブロックを備えた1D U-Net である Wave-U-Net アーキテクチャを採用する。
• 各サンプルごとに K·C フィルタを用いた1D畳み込みでソース予測を定式化し、その後 [-1,1] に出力を制約する tanh 非線形を適用する。
• 最終出力を除く全層で LeakyReLU 活性化を使用する。
• 学習率 1e-4、バッチサイズ 16、検証セットに基づく早期停止で、ランダムに抽出した音声断片を ADAM で訓練する。
• ベストモデルをバッチサイズを倍増、学習率を低減（1e-5）して、検証改善が見られない場合は最大20エポックまでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 Voice Bank/VCTK データセットにおいて、時系列 Wave-U-Net は最先端法より音声強化指標を改善するか？
• RQ2 音声強化における Wave-U-Net の深さの影響は何か、より小さなモデルで十分か？
• RQ3 客観的な音声品質と明瞭度の指標で、Wave-U-Net は Wiener フィルタリングおよび SEGAN とどのように比較されるか？
• RQ4 Wave-U-Net アーキテクチャは音声強化のために効果的に調整でき、マルチチャネル/マルチソース設定に拡張する可能性があるか？

主な発見

• Wave-U-Net は音声強化において PESQ、CSIG、CBAK、COVL、SSNR 指標で Wiener フィルタリングおよび SEGAN を上回る。
• 実験での最良の Wave-U-Net 構成は 10 層モデルで、ファインチューニングにより検証した変種の中で最高結果を達成した。
• ファインチューニングなしでは、9層および10層の Wave-U-Nets が最適であることを示しており、音声の最適受容野は音楽ソース分離に用いられるものより小さいことを示唆している。
• Wave-U-Net は SSNR をより高く(9.97)、ベースラインの Noisy 1.68、Wiener 5.07、SEGAN 7.73 を上回る。
• 歌唱ボイス分離タスクよりも音声強化には隠れ層が少なくて十分である。