[論文レビュー] TFCN: Temporal-Frequential Convolutional Network for Single-Channel Speech Enhancement

Xupeng Jia, Dongmei Li|arXiv (Cornell University)|Jan 3, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

本稿では、2次元の拡張およびディープワイズ分離可能畳み込みを用いて時間周波数特徴を効率的にモデル化する、単一チャネル音声強調のための軽量な時系列周波数畳み込みネットワークTFCNを提案する。わずか93,000パラメータで、STOI（0.943）、PESQ（3.00）、合成指標において最先端の性能を達成し、UNet や TCN-LPS よりも大きなモデルに比べて優れており、因果的および準因果的設定における低遅延推論を可能にする。

ABSTRACT

Deep learning based single-channel speech enhancement tries to train a neural network model for the prediction of clean speech signal. There are a variety of popular network structures for single-channel speech enhancement, such as TCNN, UNet, WaveNet, etc. However, these structures usually contain millions of parameters, which is an obstacle for mobile applications. In this work, we proposed a light weight neural network for speech enhancement named TFCN. It is a temporal-frequential convolutional network constructed of dilated convolutions and depth-separable convolutions. We evaluate the performance of TFCN in terms of Short-Time Objective Intelligibility (STOI), perceptual evaluation of speech quality (PESQ) and a series of composite metrics named Csig, Cbak and Covl. Experimental results show that compared with TCN and several other state-of-the-art algorithms, the proposed structure achieves a comparable performance with only 93,000 parameters. Further improvement can be achieved at the cost of more parameters, by introducing dense connections and depth-separable convolutions with normal ones. Experiments also show that the proposed structure can work well both in causal and non-causal situations.

研究の動機と目的

• モバイルおよびリアルタイム音声強調アプリケーションへの高パラメータ数のディープラーニングモデルの導入の課題に対処すること。
• TCNに類似したアーキテクチャにおいて1次元畳み込みを2次元畳み込みに置き換えることで、時系列周波数音声強調におけるパラメータ効率を向上させること。
• 従来のUNet や TCNベースの手法と比較して、モデルサイズを大幅に削減しながらも、高い知覚的品質と話者の理解性を維持すること。
• リアルタイム適用性を評価するために、因果的、準因果的、非因果的推論シナリオのすべてにおいてモデルの性能を評価すること。

提案手法

• TFCNは、TCNにおける1次元拡張畳み込みを2次元畳み込みに置き換えることで、対数パワースペクトル（LPS）における時間的およびスペクトル的特徴を統合的にモデル化する。
• パラメータ数の削減を図りながら、拡張畳み込みによる受容 field の拡大を維持するために、ディープワイズ分離可能畳み込みを採用する。
• 繰り返しブロック間の密接続（dense connections）を導入することで、特徴の伝搬を向上させ、性能を向上させる。
• 学習率の減少と早期停止を併用したAdam最適化アルゴリズムを用い、バッチ学習には2秒の音声セグメントを用いる。
• システムは、ノイズ混在入力LPSからクリアな音声LPSを推定し、ノイズ混在の位相と組み合わせて強調音声信号を再構築する。
• 非因果的、準因果的（304msおよび48msの先行読み込み付き）、因果的設定の3通りでアーキテクチャを評価し、遅延のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 2次元畳み込みアーキテクチャは、顕著に少ないパラメータ数で1次元TCNベースのモデルを上回ることができるか？
• RQ2 ディープワイズ分離可能畳み込みと2次元畳み込みの使用は、LPSマッピングにおけるパラメータ効率と性能にどのように影響を与えるか？
• RQ3 モデルサイズを増加させずに密接続を導入することで、性能はどの程度向上するか？
• RQ4 因果的および準因果的推論条件下でのモデルの性能はどの程度で、遅延への影響は何か？

主な発見

• TFCNはSTOI 0.943、PESQ 3.00、Csig 4.38、Cbak 3.44、Covl 3.71を達成し、TCN-LPSを上回り、UNet や Affinity よりも大きなモデルと同等またはそれを上回る性能を示した。
• わずか93,000パラメータで、TCN-LPS（864万パラメータ）の1.1％にまでモデルサイズを削減し、高いパラメータ効率を示した。
• 通常の畳み込みと密接続を用いたTFCN-dは、138万パラメータで、STOI 0.948、PESQ 3.06、Csig 4.44という最高の性能を達成した。
• 304msの先行読み込み付きの準因果バージョンは、性能をわずかに低下させる（STOI: 0.945、PESQ: 3.04）が、リアルタイムアプリケーションに適していることが示された。
• 因果バージョンでは、性能に顕著な低下は見られず、わずかに低下した（STOI: 0.940、PESQ: 2.91）が、TFCNが低遅延シナリオでも実用可能であることを確認した。