[論文レビュー] Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention

Yuma Koizumi, Kohei Yatabe+3 more|arXiv (Cornell University)|Feb 14, 2020

Speech and Audio Processing参考文献 30被引用数 8

ひとこと要約

本稿では、音声強調と話者識別を共同学習することで、テスト発話から直接抽出された話者に依存する特徴を活用し、自己適応型音声強調手法を提案する。長期間の依存関係をモデル化するために多頭注目（multi-head self-attention）を用い、話者識別ブランチの最終隠れ層を補助特徴として採用することで、公開データセットにおいて最先端の性能を達成し、未学習話者に対しても客観的・主観的品質の両面で従来手法を上回る結果を得た。

ABSTRACT

This paper investigates a self-adaptation method for speech enhancement using auxiliary speaker-aware features; we extract a speaker representation used for adaptation directly from the test utterance. Conventional studies of deep neural network (DNN)--based speech enhancement mainly focus on building a speaker independent model. Meanwhile, in speech applications including speech recognition and synthesis, it is known that model adaptation to the target speaker improves the accuracy. Our research question is whether a DNN for speech enhancement can be adopted to unknown speakers without any auxiliary guidance signal in test-phase. To achieve this, we adopt multi-task learning of speech enhancement and speaker identification, and use the output of the final hidden layer of speaker identification branch as an auxiliary feature. In addition, we use multi-head self-attention for capturing long-term dependencies in the speech and noise. Experimental results on a public dataset show that our strategy achieves the state-of-the-art performance and also outperform conventional methods in terms of subjective quality.

研究の動機と目的

• DNNベースの音声強調モデルが推論段階で補助信号を一切用いずに未知話者に適応可能かどうかを調査すること。
• テスト発話から直接話者に依存する特徴を抽出することで、一般化性能と性能を向上させること。
• 時間系列表現における長期間の時間的依存関係を、多頭注目（MHSA）を用いてモデル化すること。
• 音声強調と話者識別を共同学習させることで、音声強調分野における最先端の性能を達成すること。

提案手法

• 共有エンコーダーを用いて、音声強調と話者識別を共同学習するマルチタスク学習フレームワークを構築する。
• 話者識別ブランチの最終隠れ層出力を、音声強調の補助特徴として使用する。
• 時間系列表現における長距離の時間的依存関係をモデル化するために、多頭注目（MHSA）を双向LSTMと統合する。
• STFT変換されたノイズあり入力と話者に依存する特徴を入力とすることで、T-FマスクをDNNによって推定する。
• CNN、BLSTM、MHSAを組み合わせたハイブリッドアーキテクチャを採用し、特徴抽出と時間的モデリングの両面で頑健性を確保する。
• マスク処理を施したSTFTスペクトログラムに対して逆STFTを適用し、最終的な強調信号を再構築する。

実験結果

リサーチクエスチョン

• RQ1 DNNベースの音声強調モデルは、推論時に補助信号を一切用いずに、未知話者に効果的に適応可能か？
• RQ2 テスト発話から直接抽出された話者に依存する特徴は、音声強調性能の向上に寄与するか？
• RQ3 多頭注目の統合により、ノイズあり音声における長期間の依存関係のモデル化が向上するか？
• RQ4 音声強調と話者識別を共同でマルチタスク学習することで、より良い一般化性能と性能が達成可能か？

主な発見

• 提案手法は、公開音声強調データセットにおいて最先端の性能を達成し、既存手法よりも客観的指標で優れた結果を示した。
• ITU-T P.835を用いた主観的評価では、S-MOS、N-MOS、G-MOSの全指標で最高の平均意見スコア（MOS）を達成した。
• ペアド一様片側t検定により、SEGAN や DFL といったベースラインと比較して、すべての主観的品質指標で統計的に有意な改善（p < 0.01）が確認された。
• 話者識別ブランチは、話者に依存する表現を効果的に抽出しており、64%および84%の時間フレームが異なる話者に関連づけられており、動的な話者選択が可能であることが示された。
• 話者識別ブランチの最終隠れ層を補助特徴として使用することで、PESQおよびCOVLスコアが、話者ガイドなしのモデルと比較して顕著に向上した。
• モデルは未学習話者に対しても効果的に一般化しており、トレーニングデータに存在しないターゲット話者に対しても、頑健な性能を示した。