[論文レビュー] Reinforcement Learning To Adapt Speech Enhancement to Instantaneous Input Signal Quality

Rasool Fakoor, Xiaodong He+2 more|arXiv (Cornell University)|Nov 29, 2017

Speech and Audio Processing被引用数 6

ひとこと要約

本稿では、入力信号の即時の品質に基づき、リアルタイムで音声強調アルゴリズムのパラメータを動的に調整する強化学習（RL）フレームワークを提案する。強調アルゴリズムをブラックボックスとして扱い、フレーム単位のフィードバックを用いてSNR、MSE、スペクトル歪みを最適化するLSTMベースのRLエージェントを用いることで、非適応的ベースラインに比べて出力SNRが42%向上し、MSEが16%改善された。

ABSTRACT

Today, the optimal performance of existing noise-suppression algorithms, both data-driven and those based on classic statistical methods, is range bound to specific levels of instantaneous input signal-to-noise ratios. In this paper, we present a new approach to improve the adaptivity of such algorithms enabling them to perform robustly across a wide range of input signal and noise types. Our methodology is based on the dynamic control of algorithmic parameters via reinforcement learning. Specifically, we model the noise-suppression module as a black box, requiring no knowledge of the algorithmic mechanics except a simple feedback from the output. We utilize this feedback as the reward signal for a reinforcement-learning agent that learns a policy to adapt the algorithmic parameters for every incoming audio frame (16 ms of data). Our preliminary results show that such a control mechanism can substantially increase the overall performance of the underlying noise-suppression algorithm; 42% and 16% improvements in output SNR and MSE, respectively, when compared to no adaptivity.

研究の動機と目的

• 既存の音声強調アルゴリズムが、入力信号対雑音比（SNR）の変動に応じて性能が著しく低下するという限界を解消すること。
• 強調アルゴリズムの内部構造を一切知らずに、即時の信号品質に応じてアルゴリズムパラメータをリアルタイムで動的に適応可能にする。
• データ駆動型ブラックボックス最適化アプローチを用いて、多様な入力条件下での総合的な音声強調性能を向上させること。
• 実世界の音声シナリオにおいて、リアルタイム信号処理の適応に強化学習を用いる可能性を検討すること。

提案手法

• 本手法は、古典的音声強調アルゴリズム（Tashev et al., 2009）をブラックボックスとしてモデル化し、報酬信号として出力フィードバックのみを必要とする。
• LSTMベースの強化学習エージェントが、各16ms音声フレームごとに、ゲイン、しきい値、バイアスなどの主要パラメータを調整する方策を学習する。
• 報酬信号は、クリアな信号との比較に基づく信号歪み指標（MSE、SNR、LSD）から算出され、リアルタイムフィードバックを可能にする。
• 方策最適化にはREINFORCEアルゴリズムが用いられ、時間経過にわたる累積期待報酬を最大化する。
• 訓練の安定性と収束性を向上させるために、ベースラインを用いた分散低減技術が適用される。
• システムはオンラインで動作し、現在の入力特性に応じてフレームごとにパラメータを調整することで、広範なSNR範囲（0–30 dB）にわたる耐性を発揮する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、変動する入力SNRレベルに応じて、リアルタイムで音声強調アルゴリズムのパラメータを適応的に調整し、性能を向上させることができるか？
• RQ2 フレーム単位のパラメータ適応によるRL手法と、固定パラメータ最適化手法とを比較した場合、SNR、MSE、スペクトル歪みの観点でどの程度の差が生じるか？
• RQ3 信号レベルの歪み指標を報酬関数として用いることで、知覚的・客観的音声品質指標の最適化にどのような影響を与えるか？
• RQ4 SNRとMSEの向上にもかかわらず、WER、SER、PESQが向上しない理由は何か？また、これらを報酬関数に組み込む際の課題は何か？

主な発見

• 提案されたRLベースの適応手法は、固定パラメータを用いた非適応的ベースラインに比べ、出力SNRが42%向上し、MSEが16%改善された。
• ログスペクトル距離（LSD）が4%向上し、強調音声のスペクトル忠実度が向上したことが示された。
• 信号レベルの指標に改善が見られたにもかかわらず、WER、SER、PESQには顕著な改善が見られなかった。これは、これらの指標が報酬関数に含まれていなかったためである。
• MSE、SNR、LSDに基づく報酬関数は、信号歪みの最適化には効果的であったが、上位レベルの音声認識や知覚的品質指標には直接的な影響を及ぼせなかった。
• RLエージェントは、フレームごとの動的パラメータ調整を効果的に学習し、広範な入力SNR範囲（0–30 dB）にわたる耐性を示した。
• 固定パラメータソリューションとは異なり、推論中に入力に依存した動的パララメータ適応が可能であるため、本手法はオフライン最適化手法を上回った。