[論文レビュー] RNNoise-Ex: Hybrid Speech Enhancement System based on RNN and Spectral Features

Constantine C. Doumanidis, Christina Anagnostou+2 more|arXiv (Cornell University)|May 25, 2021

Speech and Audio Processing参考文献 18被引用数 6

ひとこと要約

本稿では、RNNoiseフレームワークにスペクトル傾きやスペクトルフラックスなどの追加スペクトル特徴を組み込んだRNNベースのマスク推定プロセスを統合することで拡張されたハイブリッド音声強調システムRNNoise-Exを提案する。特徴工学が徹底的に行われ、同一パラメータで学習が行われたにもかかわらず、すべてのSNRレベルおよび音響環境において、参照となるRNNoiseより性能が劣り、特に高SNR条件下で顕著に顕在する。これは、現在のデータセットサイズでは追加特徴が性能向上に寄与しなかったことを示している。

ABSTRACT

Recent interest in exploiting Deep Learning techniques for Noise Suppression, has led to the creation of Hybrid Denoising Systems that combine classic Signal Processing with Deep Learning. In this paper, we concentrated our efforts on extending the RNNoise denoising system (arXiv:1709.08243) with the inclusion of complementary features during the training phase. We present a comprehensive explanation of the set-up process of a modified system and present the comparative results derived from a performance evaluation analysis, using a reference version of RNNoise as control.

研究の動機と目的

• RNN学習中に追加のスペクトル特徴を統合することで、RNNoise音声強調システムの性能を向上させること。
• スペクトル傾き、スペクトルフラックス、RMSといった補完的特徴が、リアルタイムで動作するハイブリッドディープラーニングシステムにおけるノイズ抑制に寄与するかどうかを評価すること。
• 特に非定常および準定常ノイズ成分の処理において、特徴工学がRNNベースの音声強調に与える影響を調査すること。
• 現在のハイブリッドシステムにおける限界を特定し、特徴統合およびモデルアーキテクチャの改善に向けた今後の方向性を提案すること。

提案手法

• システムは48 kHzで20 msの音声フレームを50%オーバーラップで処理し、ボルビス窓とピッチコンブフィルタを用いて周期成分を強化する。
• 各フレームに対してスペクトル傾き、スペクトルフラックス、RMSといったスペクトル特徴を計算し、標準の22バンドのバーグスケール振幅特徴と連結してRNNの入力とする。
• RNNは22個の三角形バンドにわたる理想比マスク（IRM）を推定し、各フレームのDFT振幅に補間を施した後、適用する。
• 基本周期に基づくピッチフィルタを適用して、調波間のノイズを抑制し、発話音声の聴取的質を向上させる。
• 抑制の激しさと信号忠実度のバランスを取るために、ガンマパラメータ（γ = 1/2）を用いた損失関数を採用し、参照モデルと拡張モデルの間でハイパーパrameterを同一に保つ。
• 拡張システムは、参照RNNoiseモデルと同一のデータセットおよび学習プロトコルを用いて訓練・評価され、直接的な比較が可能となった。

実験結果

リサーチクエスチョン

• RQ1 スペクトル傾きやスペクトルフラックスといった追加スペクトル特徴の統合が、RNNoiseシステムの音声強調性能を向上させるか？
• RQ2 RNNoise-Ex拡張システムの性能は、異なるSNRレベルおよび音響環境において、参照RNNoiseモデルと比べてどのように異なるか？
• RQ3 サブバンド特徴の統合が、ハイブリッドRNNベースシステムにおけるノイズ抑制と聴取的質の向上に寄与するか？
• RQ4 入力特徴次元数が増加しているにもかかわらず、なぜ拡張システムが参照モデルを下回る性能を示すのか？
• RQ5 特徴の分散と外れ値分布が、RNNベースのノイズ除去におけるスペクトル特徴の有効性に果たす役割は何か？

主な発見

• RNNoise-Exシステムは、すべてのテスト音響環境およびSNRレベルで、参照RNNoiseモデルを一貫して下回った。特に高SNR条件下で顕著に劣化が見られた。
• PESQ品質指標はRNNoise-Exで顕著な低下を示し、強調出力の音声品質が劣化していることを示した。
• STOI話者理解性指標においても、特に高SNR条件下で顕著な低下が確認され、話者の明瞭性が低下していることが示唆された。
• 「Living」シーンでは、低SNR条件下で両システムの性能が類似していたため、文脈依存的な利点が存在する可能性は示唆されたが、全体的な劣化を相殺するには不十分であった。
• スペクトログラムの可視的検査から、拡張システムはノイズ成分をより少ない量しか除去しておらず、抑制効果が劣っていることが確認された。
• RMSやスペクトルフラットネスといった特徴は、分散が低く外れ値の数が多いことから、学習を妨げ、入力空間にノイズを増加させる可能性があるため、除外された。