[論文レビュー] Real-time speech enhancement using equilibriated RNN

Daiki Takeuchi, Kohei Yatabe+3 more|arXiv (Cornell University)|Feb 14, 2020

Speech and Audio Processing参考文献 27被引用数 4

ひとこと要約

本稿では、LSTMと同等の性能を達成するがパラメータ数を著しく削減する、因果的均衡型再帰ニューラルネットワーク（ERNN）を用いたリアルタイム音声強調手法を提案する。ゲートユニットを用いず、反復的重み共有を活用することで勾配を安定化させることで、リソース制限のあるデバイスに適した低複雑度の推論を実現しながら、高品質な音声強調を維持する。

ABSTRACT

We propose a speech enhancement method using a causal deep neural network~(DNN) for real-time applications. DNN has been widely used for estimating a time-frequency~(T-F) mask which enhances a speech signal. One popular DNN structure for that is a recurrent neural network~(RNN) owing to its capability of effectively modelling time-sequential data like speech. In particular, the long short-term memory (LSTM) is often used to alleviate the vanishing/exploding gradient problem which makes the training of an RNN difficult. However, the number of parameters of LSTM is increased as the price of mitigating the difficulty of training, which requires more computational resources. For real-time speech enhancement, it is preferable to use a smaller network without losing the performance. In this paper, we propose to use the equilibriated recurrent neural network~(ERNN) for avoiding the vanishing/exploding gradient problem without increasing the number of parameters. The proposed structure is causal, which requires only the information from the past, in order to apply it in real-time. Compared to the uni- and bi-directional LSTM networks, the proposed method achieved the similar performance with much fewer parameters.

研究の動機と目的

• 計算リソースが限られた環境におけるディープラーニングベース音声強調のリアルタイム応用への導入課題に対処すること。
• モデル複雑度を増加させずに再帰ネットワークにおける消失/爆発勾配問題を克服すること。
• 長期間の時系列依存関係を維持しながらパラメータ数を最小限に抑えた因果的RNNアーキテクチャの開発。
• パラメータ数の削減によって、エッジデバイスにおける効率的な推論を可能にすること。
• ERNNが、性能と効率のトレードオフにおいて、Pruned LSTMモデルを上回ることを実証すること。

提案手法

• 勾配の安定化のため、隠れ状態に同じ全結合層を反復的に適用する均衡型再帰ニューラルネットワーク（ERNN）を用いる。
• 過去の情報のみを用いることで因果性を確保し、リアルタイム処理に適したネットワークとする。
• ERNNをSTFTドメインにおけるT-Fマスク推定器として実装し、ノイズ混在スペクトログラムにマスクを適用することで強調音声を回復する。
• 反復的重み共有機構により勾配安定性を保証するバックプロパゲーションによりネットワークを学習する。
• 反復回数$K$と隠れ次元$N_{\rm h}$を調整することで、モデル容量と計算コストを制御する。
• ERNNアーキテクチャの基本モジュール$\mathscr{F}$として、ReLU活性化関数を用いた全結合DNNを実装する。

実験結果

リサーチクエスチョン

• RQ1 ERNNは、パラメータ数を著しく削減しながらも、LSTMと同等の音声強調性能を達成できるか？
• RQ2 ゲートユニットを用いず、ERNNアーキテクチャが消失/爆発勾配問題を効果的に緩和できるか？
• RQ3 反復回数$K$と隠れ次元$N_{\rm h}$の変更が、性能と計算コストのトレードオフに与える影響は何か？
• RQ4 パラメータ数が少ないにもかかわらず、ERNNはリアルタイムアプリケーションにおいても高品質な強調を維持できるか？
• RQ5 ERNNの性能は、因果的LSTMおよび非因果的BLSTMと比較して、目的指標およびパラメータ効率の観点でどう異なるか？

主な発見

• 提案手法のERNNベースのアプローチは、512点STFTにおいてPESQスコア2.54および3.74を達成し、パラメータ数を1/14に削減しながらもLSTMと同等またはそれを上回る性能を示した。
• わずか231kパラメータでPESQ2.40、CSIG3.56を達成し、381万パラメータのLSTMと同等の性能を示した。
• 同程度のパラメータ数を持つPruned LSTMモデルと比較して、ERNNは性能と複雑度のトレードオフにおいて優れていた。
• 非因果的BLSTM（リアルタイムでは使用不可）に近い性能を達成しながら、パラメータ数は36分の1未満にまで削減された。
• 反復回数$K$を5から1に減少させても性能に顕著な影響がなく、さらなる計算コスト削減が可能であった。
• ゲートユニットを用いずとも、ERNNモデルは安定した勾配を維持し、少ないパラメータ数でも長期依存関係の学習が効果的に行えることが示された。