[論文レビュー] Monaural Speech Enhancement Using a Multi-Branch Temporal Convolutional Network

Qiquan Zhang, Aaron Nicolson+3 more|arXiv (Cornell University)|Dec 27, 2019

Speech and Audio Processing被引用数 6

ひとこと要約

本稿では、因果的畳み込みと残差学習を用いたsplit-transform-aggregate設計を採用し、長期間の時間的依存関係を効率的に捉えることで、パラメータ効率を維持したままモノラル音声強調のためのマルチブランチ時系列畳み込みネットワーク（MB-TCN）を提案する。MB-TCNは、5つの目的指標において最先端の手法（ResLSTM、TCN、GANベースのモデルなど）を上回り、高いパラメータ効率を維持している。

ABSTRACT

Deep learning has achieved substantial improvement on single-channel speech enhancement tasks. However, the performance of multi-layer perceptions (MLPs)-based methods is limited by the ability to capture the long-term effective history information. The recurrent neural networks (RNNs), e.g., long short-term memory (LSTM) model, are able to capture the long-term temporal dependencies, but come with the issues of the high latency and the complexity of training.To address these issues, the temporal convolutional network (TCN) was proposed to replace the RNNs in various sequence modeling tasks. In this paper we propose a novel TCN model that employs multi-branch structure, called multi-branch TCN (MB-TCN), for monaural speech enhancement.The MB-TCN exploits split-transform-aggregate design, which is expected to obtain strong representational power at a low computational complexity.Inspired by the TCN, the MB-TCN model incorporates one dimensional causal dilated CNN and residual learning to expand receptive fields for capturing long-term temporal contextual information.Our extensive experimental investigation suggests that the MB-TCNs outperform the residual long short-term memory networks (ResLSTMs), temporal convolutional networks (TCNs), and the CNN networks that employ dense aggregations in terms of speech intelligibility and quality, while providing superior parameter efficiency. Furthermore, our experimental results demonstrate that our proposed MB-TCN model is able to outperform multiple state-of-the-art deep learning-based speech enhancement methods in terms of five widely used objective metrics.

研究の動機と目的

• マルチレイヤーパーセプトロン（MLP）およびRNNがモノラル音声強調の文脈で長期間の音声依存関係を捉えることの限界を解消すること。
• LSTMのようなRNNが系列モデルタスクにおいて高い遅延と訓練の複雑さを示す問題を克服すること。
• 計算複雑性とパラメータ効率を維持したまま、音声品質と聞き取りやすさを向上させること。
• 最小限のアーキテクチャ的オーバーヘッドで長距離の時間的文脈を効果的に捉えることができるディープラーニングモデルの開発。
• 目的指標およびモデル効率の両面で、既存の最先端手法を上回る性能を達成すること。

提案手法

• MB-TCNは、低コストで表現力の高いsplit-transform-aggregateアーキテクチャを採用している。
• 1次元の因果的畳み込みを用いて受容 field を拡大し、長期間の時間的依存関係をモデル化している。
• 訓練の安定化とより深いネットワーク構造の実現のため、残差接続を組み込んでいる。
• マルチブランチ設計により、異なる拡張カーネルスケールの並列処理が可能となり、特徴表現が向上している。
• モデルはDeep Xiフレームワークに統合されており、統計的強調手法（例：SRWF）で使用するための事前SNR推定が行われている。
• パラメータ効率を最適化しており、性能とモデルサイズのバランスを調整可能なハイパーパrameterを有している。

Figure 1 : An example of 1-D dilated causal convolution with the kernel size $k=3$ and the dilation rate $d=1,2,4$ . This forms a large receptive field over the input.

実験結果

リサーチクエスチョン

• RQ1 マルチブランチTCNアーキテクチャは、標準のTCNやResLSTMモデルよりもモノラル音声強調で優れた性能を発揮できるか？
• RQ2 拡張畳み込みと残差学習を組み合わせたsplit-transform-aggregate設計は、RNNや標準CNNよりも優れた長期的文脈モデリングを可能にするか？
• RQ3 MB-TCNは、最先端の手法と比較して、目的指標における音声品質と聞き取りやすさの向上をどの程度達成できるか？
• RQ4 GANベースや密接続型モデルと比較して、MB-TCNのパラメータ効率と計算コストはどの程度か？
• RQ5 MB-TCNは、既存の最先端モデルよりも少ないパラメータ数で優れた性能を達成できるか？

主な発見

• CSIG、CBAK、COVL指標において、DFLよりそれぞれ0.35、0.08、0.37の向上を達成した。
• MetricGANよりCSIG、CBAK、COVL、PESQでそれぞれ0.22、0.23、0.17、0.08の向上を示した。
• MMSE-GAN（強力な最先端ベースライン）と比較して、PESQで0.41の向上と、約1%のSTOI向上を達成した。
• MMSE-GANよりパラメータ数が多いにもかかわらず、MB-TCNは著しく優れた性能を示し、GANの訓練不安定性を回避した。
• スペクトログラム比較により、ノイズ抑制が優れており、音声歪みが低減されていることが示された。
• 性能とパラメータ効率の両面で、Wave-U-Net、SEGAN、MDPhDなどのモデルを上回る、最良のトレードオフを達成した。

Figure 3 : Proposed multi-branch TCN (MB-TCN) architecture. It is composed of a fully-connected first layer, FC , followed by N multi-branch TCN blocks, and then a fully-connected output layer, O that employs sigmoid units. $\copyright$ represent the concatenation operation. The kernel size, output