[論文レビュー] A Time-domain Monaural Speech Enhancement with Feedback Learning

Andong Li, Chengshi Zheng+3 more|arXiv (Cornell University)|Mar 22, 2020

Speech and Audio Processing参考文献 36被引用数 11

ひとこと要約

本稿では、パrameter数を削減しながら性能を向上させるためにフィードバック学習を用いた時間領域モノラル音声強調ネットワークであるFTNetを提案する。段階的再帰ネットワークとゲート付き線形ユニット、および畳み込みオートエンコーダーを用い、中間推定値を再帰的にフィードバックすることで、102万パラメータという非常に少ないパラメータ数で最先端のPESQおよびSTOIスコアを達成し、パrameter効率の高さと段階的ノイズ抑制の有効性を示している。

ABSTRACT

In this paper, we propose a type of neural network with feedback learning in the time domain called FTNet for monaural speech enhancement, where the proposed network consists of three principal components. The first part is called stage recurrent neural network, which is introduced to effectively aggregate the deep feature dependencies across different stages with a memory mechanism and also remove the interference stage by stage. The second part is the convolutional auto-encoder. The third part consists of a series of concatenated gated linear units, which are capable of facilitating the information flow and gradually increasing the receptive fields. Feedback learning is adopted to improve the parameter efficiency and therefore, the number of trainable parameters is effectively reduced without sacrificing its performance. Numerous experiments are conducted on TIMIT corpus and experimental results demonstrate that the proposed network can achieve consistently better performance in terms of both PESQ and STOI scores than two state-of-the-art time domain-based baselines in different conditions.

研究の動機と目的

• 既存の時間領域音声強調モデルにおける高いパラメータ数と計算コストの問題に対処すること。
• 軽量で再帰的なアーキテクチャを用いて、騒音環境下での音声品質と聞き取りやすさを向上させること。
• フィードバック学習を活用し、段階を経て蓄積された事前知識を用いて、強調音声の段階的最適化を実現すること。
• 最小限のトレーニング可能なパラメータで優れた性能を達成することで、実世界への導入に適したモデル効率を向上させること。

提案手法

• メモリ機構を備えた段階的再帰ニューラルネットワーク（SRNN）を用い、複数の強調段階にわたり深層的な特徴依存関係を統合する。
• 各段階の推定出力を再帰的にネットワークにフィードバックすることでフィードバック学習を実装し、段階的改善を可能にする。
• 潜在空間における特徴抽出と表現学習に畳み込みオートエンコーダー（CAE）を用いる。
• 連結されたゲート付き線形ユニット（GLU）をスタックすることで、受容野を拡大し、情報の流れを効率的に制御する。
• 音声の聴覚的品質と聞き取りやすさの両方を最適化するマルチステージ損失関数を用いて、エンドツーエンドで訓練する。
• フィードバック機構により、段階間でネットワークパラメータを再利用できるため、性能を損なわずに総トレーニングパラメータ数を顕著に削減できる。

実験結果

リサーチクエスチョン

• RQ1 フィードバック学習は、性能を損なわせることなく、時間領域音声強調ネットワークのパラメータ効率を向上させることができるか？
• RQ2 段階的フィードバックによる段階的最適化は、PESQやSTOIといった音声品質および聞き取りやすさ指標にどのように影響を与えるか？
• RQ3 フィードバック学習を用いた軽量ネットワークは、より深くパラメータが多い最先端モデルをどれほど上回ることができるか？
• RQ4 段階を経て蓄積される事前情報は、SRNNの隠れ状態表現にどのように影響を与えるか？

主な発見

• FTNetは、観測済みおよび未観測のノイズ条件の両方で、2つの最先端時間領域ベースライン（AECNNとRHR-Net）よりも一貫して高いPESQおよびSTOIスコアを達成した。
• トレーニング可能なパラメータ数を102万にまで削減したが、これはAECNN（631万）やRHR-Net（195万）と比べて顕著に少ない。これは高いパラメータ効率を示している。
• フィードバックによる段階的最適化により顕著な性能向上が得られた：-5dB SNR条件下で、最初の段階のPESQが1.06から5番目の段階で1.83に向上した。
• スペクトル可視化により、ノイズ成分が段階を経て段階的に抑制されていることが確認され、後段の段階で明確な音声特徴が現れている。
• 隠れ状態の可視化から、フィードバック段階が増えるほどSRNNの表現がより明確でぼやけにくくなり、クリアな音声事前知識の学習が有効に行われていることが示された。
• フィードバック機構により、パラメータの再利用が可能となり、28×Q層という深い有効なネットワーク深さを実現しながらも、パラメータ数を増加させない。