[論文レビュー] Deep Residual-Dense Lattice Network for Speech Enhancement

Mohammad Nikzad, Aaron Nicolson+4 more|arXiv (Cornell University)|Feb 27, 2020

Speech and Audio Processing参考文献 27被引用数 7

ひとこと要約

本稿では、残留接続と密接続を三角格子トポロジー内で組み合わせることで、過剰なパラメータ割り当てを避けつつ効率的な特徴再利用を可能にする、音声強調のための新しいCNNアーキテクチャ、Residual-Dense Lattice Network (RDL-Net) を提案する。この手法は、ResNets や DenseNets や DenseRNs よりもはるかに少ないパラメータ数と低いFLOPsで最先端の音声強調性能を達成し、客観的品質および話者の理解度の指標においてそれらを上回る。

ABSTRACT

Convolutional neural networks (CNNs) with residual links (ResNets) and causal dilated convolutional units have been the network of choice for deep learning approaches to speech enhancement. While residual links improve gradient flow during training, feature diminution of shallow layer outputs can occur due to repetitive summations with deeper layer outputs. One strategy to improve feature re-usage is to fuse both ResNets and densely connected CNNs (DenseNets). DenseNets, however, over-allocate parameters for feature re-usage. Motivated by this, we propose the residual-dense lattice network (RDL-Net), which is a new CNN for speech enhancement that employs both residual and dense aggregations without over-allocating parameters for feature re-usage. This is managed through the topology of the RDL blocks, which limit the number of outputs used for dense aggregations. Our extensive experimental investigation shows that RDL-Nets are able to achieve a higher speech enhancement performance than CNNs that employ residual and/or dense aggregations. RDL-Nets also use substantially fewer parameters and have a lower computational requirement. Furthermore, we demonstrate that RDL-Nets outperform many state-of-the-art deep learning approaches to speech enhancement.

研究の動機と目的

• 既存の残留ネットワークと密接ネットワークにおける特徴再利用の非効率性に起因する、ResNets の特徴劣化とDenseNets のパラメータ過剰割り当ての問題を解決すること。
• 過剰なパラメータまたは計算コストを負担せずに、残留および密接集約を両方活用する新しいCNNアーキテクチャを開発すること。
• 新しい格子ベースのトポロジーにより、ブロック内での勾配伝播とブロック間の特徴再利用を効果的に行えるようにすることで、音声強調性能を向上させること。
• 提案されたRDL-Netが、最先端の深層学習手法と比較して、優れた客観的品質および理解度スコアを達成することを示すこと。
• 複数のデータセットおよびノイズ条件（ストリートミュージックや工場ノイズを含む）において、アーキテクチャの効率性と有効性を検証すること。

提案手法

• RDL-Netは、局所的な密接集約を格子の高さに制限することで、入力サイズとパラメータ負荷を低減する三角格子トポロジーの畳み込みユニットを採用する。
• ブロック内での局所的残留リンクを用いることで、勾配伝播と学習安定性を向上させる。
• ブロック間の特徴再利用を可能にするために、グローバルな密接リンクを接続する。
• ハイブリッド集約戦略を採用：勾配伝播には残留和算、特徴再利用には局所的連結を用いることで、完全なDenseNetsで見られるパラメータの爆発を回避する。
• ネットワークはDeep Xiフレームワークを用いて学習され、MMSE-LSAおよびSRWF音声強調モデルの事前SNR推定に使用される。
• 標準的な指標（PESQ、STOI、MOS-LQO、CSIG、CBAK、COVL）を用いて、さまざまなSNRレベルのノイズ混在音声データ上で評価される。

実験結果

リサーチクエスチョン

• RQ1 パラメータの非効率性がDenseNetsに見られる問題を回避しつつ、残留接続と密接接続の利点を併せ持つCNNアーキテクチャは構築可能か？
• RQ2 提案された格子ベースのトポロジーは、高性能な音声強調に必要なパラメータ数とFLOPsを削減できるか？
• RQ3 RDL-Netは、ResNets や DenseNets や最先端のモデルと比較して、客観的音声品質および理解度においてどの程度優れているか？
• RQ4 ストリートミュージックや工場ノイズなどの多様なノイズタイプおよびSNR条件下で、RDL-Netはどの程度の性能を示すか？
• RQ5 GANベースの手法やその他の深層学習手法と比較して、RDL-Netは最小限のスペクトル歪みで優れたノイズ抑制を達成できるか？

主な発見

• 10 dB SNRのストリートミュージック条件下で、200万パラメータのRDL-Netは、200万パラメータのResNetよりもMOS-LQOで0.22の向上を達成した。
• 200万パラメータおよび200万FLOPsの条件下で、RDL-Netはパラメータが2倍でFLOPsが4倍のResNetと同等の最低検証誤差を達成した。
• 0 dB SNRの工場ノイズ条件下で、200万パラメータのRDL-Netは、同等のResNetと比較してSTOIで3.5%の向上を達成した。
• RDL-Netは、Metric-GANに対してCSIGで0.39、CBAKで0.25、COVLで0.30、PESQで0.16の向上を示し、MMSE-GANと比較してSTOIを1%向上させた。
• RDL-Netが生成した音声は、スペクトログラム比較による視覚的確認で、最小限のフォルマント歪みを伴いながら優れたノイズ抑制を示した。
• RDL-Netは、複数のデータセットおよびノイズ条件下で一貫した性能向上を示し、そのロバスト性と一般化能力を裏付けた。