[論文レビュー] A Hybrid DSP/Deep Learning Approach to Real-Time Full-Band Speech Enhancement

Jean-Marc Valin|arXiv (Cornell University)|Sep 24, 2017

Speech and Audio Processing被引用数 4

ひとこと要約

本論文は、48 kHzのフルバンド音声強調をリアルタイムで行うハイブリッドDSP/ディープラーニング手法を提示する。4層の再帰的ニューラルネットワーク（RNN）を用いて22個のバーグスケール帯域ごとの理想臨界帯域利得（ICBG）を推定し、周波数間のノイズを抑制するためのピッチコンブフィルタを組み合わせる。従来のMMSEベースの手法に比べて顕著に高い音声品質を達成しながら、低消費電力CPU上でのリアルタイム実装に適した低計算量を維持している。

ABSTRACT

Despite noise suppression being a mature area in signal processing, it remains highly dependent on fine tuning of estimator algorithms and parameters. In this paper, we demonstrate a hybrid DSP/deep learning approach to noise suppression. A deep neural network with four hidden layers is used to estimate ideal critical band gains, while a more traditional pitch filter attenuates noise between pitch harmonics. The approach achieves significantly higher quality than a traditional minimum mean squared error spectral estimator, while keeping the complexity low enough for real-time operation at 48 kHz on a low-power processor.

研究の動機と目的

• 従来のノイズ抑制アルゴリズムのチューニングの難しさに起因する、ノイズパワーとスペクトル利得を手動で微調整する必要がある複雑な推定器に起因する、長年の課題に対処すること。
• ビデオ会議などのリアルタイム応用に適した、高品質な出力を維持しつつ、フルバンド音声強調における計算量を低減すること。
• 確立されたDSP技術のロバスト性とディープラーニングの適応学習能力を組み合わせ、手動でチューニングが難しいコンponentsに焦点を当てること。
• 高価なハードウェアを必要とせず、従来のMMSEベースの手法に比べて顕著に音声品質を向上させる軽量なディープラーニングモデルが有効であることを実証すること。

提案手法

• 4層の再帰的ニューラルネットワーク（RNN）が、22個のバーグスケール帯域ごとの理想臨界帯域利得（ICBG）を推定する。出力は0〜1の範囲に制限され、高次元のスペクトル推定の必要性が低減される。
• ネットワークは20 msフレームを50%オーバーヵローで処理し、完全再構成を満たすプリンセン＝ブレッドリー基準を満たすボルビス窓を用いる。
• 帯域ごとの利得は、三角帯域重みを用いた重み付き補間により周波数チャンク全体にわたって適用され、滑らかなスペクトル形状が保証される。
• 周波数ドメインで、帯域固有の係数を用いてピッチコンブフィルタを適用し、ピッチ調波間のノイズを抑制する。これは周期性推定に基づく。
• 出力の過剰乾燥を防ぎ、自然なリバーブを維持するため、減衰定数λ=0.6の再帰的フィルタを利得平滑化に用いる。
• モデルは、ICBG推定のための平均二乗誤差と、音声活動検出（VAD）のための交差エントロピーを組み合わせた損失関数で学習され、低エネルギーフレームにはマスク損失が適用される。

実験結果

リサーチクエスチョン

• RQ1 手動でチューニングが難しい部分を効果的に置き換えるために、軽量なディープラーニングモデルが有効に機能するか。
• RQ2 低解像度のディープラーニング利得推定器とピッチベースのフィルタを組み合わせることで、従来のMMSEベースのスペクトル推定器を上回る性能が得られるか。
• RQ3 このようなハイブリッドシステムが、低消費電力CPU上でリアルタイム動作に適した低計算量で高品質な音声強調を達成できるか。
• RQ4 特に非定常ノイズに対して、従来のDSPオンリー手法に比べて、提案手法がどの程度音声品質を向上させるか。

主な発見

• 提案手法は、SpeexDSPのMMSEベースのノイズ抑制器に比べて顕著に高い音声品質を達成しており、雑音（babble, car, street）環境下でPESQ MOS-LQOスコアで確認された。
• 低消費電力CPU上で48 kHzでリアルタイム動作が可能であり、x86コア（Haswell i7-4800MQ）では1コアの1.3%、Raspberry Pi 3のARM Cortex-A53コアでは14%の負荷で実行される。
• 総計算量は約40 Mflopsであり、フルバンド音声コーダーと同等の規模であり、モデルの87,503の重みは8ビットに量子化されても性能に損失がない。
• λ=0.6の利得平滑化により、出力の過剰乾燥が効果的に防止され、135 msの有効な減衰時間を持つ自然なリバーブが維持される。
• 入力特徴に遠方信号の特性を追加することで、残響抑制やマイクアレイ後処理への応用が可能となり、拡張性がある。