[論文レビュー] RHR-Net: A Residual Hourglass Recurrent Neural Network for Speech Enhancement

Jalal Abdulbaqi, Yue Gu+1 more|arXiv (Cornell University)|Apr 15, 2019

Speech and Audio Processing参考文献 36被引用数 5

ひとこと要約

RHR-Netは、スペクトログラム変換を回避し、位相情報の損失やメモリ集約的な畝状畳み込みを避けることで、エンドツーエンドの波形ベース音声強調のための完全に再帰的で時計型の残差ニューラルネットワークを提案する。6つの評価指標において最先端の性能を達成し、音声品質と聞き取りやすさの面で先行手法を上回る。

ABSTRACT

Most current speech enhancement models use spectrogram features that require an expensive transformation and result in phase information loss. Previous work has overcome these issues by using convolutional networks to learn long-range temporal correlations across high-resolution waveforms. These models, however, are limited by memory-intensive dilated convolution and aliasing artifacts from upsampling. We introduce an end-to-end fully-recurrent hourglass-shaped neural network architecture with residual connections for waveform-based single-channel speech enhancement. Our model can efficiently capture long-range temporal dependencies by reducing the features resolution without information loss. Experimental results show that our model outperforms state-of-the-art approaches in six evaluation metrics.

研究の動機と目的

• スペクトログラムベースの音声強調の限界、特に位相情報の損失や高コストな変換手順を解決すること。
• 既存の波形ベースモデルにおけるメモリ集約的な畝状畳み込みとアリーアスアーチファクトを克服すること。
• 生波形における長距離時系列依存性を効率的に捉えることができる完全に再帰的なアーキテクチャを開発すること。
• 中間特徴抽出を経ずに、生音声から直接エンドツーエンド学習を可能にすること。
• 新規の再帰的時計型構造により、騒音環境下での音声品質と聞き取りやすさを向上させること。

提案手法

• モデルは、双方向長短期記憶（Bi-LSTM）ユニットを用いた対称的なエンコーダ・デコーダパスを持つ時計型アーキテクチャを採用する。
• エンコーダとデコーダの対応する層間に残差接続を適用することで、訓練の安定化と勾配の流れの改善を図る。
• スペクトログラム変換を回避し、生波形を直接処理することで位相情報を保持する。
• ダウンサンプリングはエンコーダでのストライド付きLSTMにより実現し、アップサンプリングはデコーダでの逆畳み込みLSTMにより実施する。
• 特徴を情報損失なしに圧縮するために、次元数を低減したボトルネック層を用いる。
• 強化波形とクリアな波形の間の平均二乗誤差損失を用いてエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 完全に再帰的な時計型ネットワークは、生の音声波形における長距離時系列依存性を効果的にモデル化できるか？
• RQ2 畝状畳み込みネットワークと比較して、残差時計型設計はメモリ消費量を低減し、アリーアスアーチファクトを回避できるか？
• RQ3 スペクトログラム特徴を用いない状態で、既存の最先端手法を上回る性能を発揮できるか？
• RQ4 位相情報の保持が、騒音環境下での音声品質と聞き取りやすさにどのように影響するか？
• RQ5 残差接続機構は、提案されたアーキテクチャにおける訓練の安定性と性能向上にどの程度寄与するか？

主な発見

• RHR-Netは、PESQ、STOI、SNRを含む6つの評価指標において最先端の性能を達成し、先行手法を上回る。
• 位相の保持と効果的な長距離モデリングのおかげで、特に低SNR条件下において優れた音声品質と聞き取りやすさを示す。
• スペクトログラム変換が存在しないため位相情報の損失が発生せず、主観的改善に寄与する。
• 残差接続は訓練の安定化と収束の向上に顕著に寄与し、より深いネットワークアーキテクチャの実現を可能にする。
• ストライド付きおよび逆畳み込みLSTMを用いた時計型設計は、情報劣化を伴わずに特徴解像度を効率的に低下・再構築する。
• 畝状畳み込みベースのアプローチと比較して、計算オーバーヘッドを低減しつつ競争力のある性能を達成する。