[論文レビュー] Speech Enhancement based on Denoising Autoencoder with Multi-branched Encoders

Cheng Yu, Ryandhimas E. Zezario+6 more|arXiv (Cornell University)|Jan 6, 2020

Speech and Audio Processing参考文献 88被引用数 11

ひとこと要約

本稿では、動的サイズの意思決定木（DSDT）を用いたマルチブランチ型エンコーダーを備えたノイズ除去オートエナボーダー（DAEME）を提案する。この手法により、学習済みのノイズタイプおよび未知のノイズタイプの両方において、音声強調（SE）の汎化性能が向上する。DSDTによってデータを分割し、それぞれのノイズ条件で独立して学習されたコンポーネントモデルを、軽量なデコーダーで統合することで、PESQ、STOI、および主観的聴取テストにおいてベースラインを上回る優れた性能を達成する。

ABSTRACT

Deep learning-based models have greatly advanced the performance of speech enhancement (SE) systems. However, two problems remain unsolved, which are closely related to model generalizability to noisy conditions: (1) mismatched noisy condition during testing, i.e., the performance is generally sub-optimal when models are tested with unseen noise types that are not involved in the training data; (2) local focus on specific noisy conditions, i.e., models trained using multiple types of noises cannot optimally remove a specific noise type even though the noise type has been involved in the training data. These problems are common in real applications. In this paper, we propose a novel denoising autoencoder with a multi-branched encoder (termed DAEME) model to deal with these two problems. In the DAEME model, two stages are involved: training and testing. In the training stage, we build multiple component models to form a multi-branched encoder based on a decision tree (DSDT). The DSDT is built based on prior knowledge of speech and noisy conditions (the speaker, environment, and signal factors are considered in this paper), where each component of the multi-branched encoder performs a particular mapping from noisy to clean speech along the branch in the DSDT. Finally, a decoder is trained on top of the multi-branched encoder. In the testing stage, noisy speech is first processed by each component model. The multiple outputs from these models are then integrated into the decoder to determine the final enhanced speech. Experimental results show that DAEME is superior to several baseline models in terms of objective evaluation metrics, automatic speech recognition results, and quality in subjective human listening tests.

研究の動機と目的

• テスト時に未知のノイズタイプに直面した際の深層学習ベース音声強調における汎化性能のギャップを解消すること。
• 特定のノイズタイプに特化した性能低下を回避し、それらが学習データに含まれている場合でさえも、単一の汎用モデルの性能が劣化することを防ぐこと。
• 音声およびノイズの属性に関する事前知識をエンコーダー構造に組み込むことで、モデルの解釈可能性と柔軟性を向上させること。
• コンポーネントモデルの並列学習を効率的に行いながら、軽量なデコーダーを用いて高い強調品質を維持すること。
• 話者IDおよびノイズタイプ情報の統合を検討し、さらなる性能向上を図ること。

提案手法

• 本手法は、発話レベル（話者、SNR）および信号レベル（ノイズタイプ、環境）の属性に基づいて構築された動的サイズ意思決定木（DSDT）を用い、訓練データを明確に分離されたクラスタに分割する。
• DSDTの各リーフは、マルチブランチ型エンコーダー内のコンポーネントモデルに対応し、割り当てられたデータクラスタに対してノイズ入り音声からクリアな音声へのマッピングを学習する。
• 各コンポーネントモデルは、その対応するデータサブセット上で独立して学習され、並列学習が可能となり、特定のノイズ条件に特化した適応が可能になる。
• 共有されたデコーダー（CNNベースの非線形変換）が、コンポーネントモデルの出力を統合し、最終的な強調音声信号を生成する。
• デコーダーは、コンポーネントモデルの出力の組み合わせを端末から端末まで学習し、明示的なノイズラベルを必要とせずに最適な統合重みを学習する。
• DSDTの構造により、どの音声属性がどのコンポーネントモデルを起動するかが明確になるため、解釈可能性が保証され、データの可用性に応じたリソースに配慮した設計が可能になる。

実験結果

リサーチクエスチョン

• RQ1 マルチブランチ型エンコーダー構造は、単一モデルベースラインと比較して、未知のノイズタイプにおける音声強調性能を向上させることができるか？
• RQ2 DSDTを用いて音声およびノイズの属性に関する事前知識を統合することで、より良い汎化性能とモデルの解釈可能性が得られるか？
• RQ3 コンポーネントモデル出力の統合において、CNNベースのデコーダーは、単純なデコーダー（例：全結合層2層、線形変換、ビームフォーミング）と比較して優れた性能を示すか？
• RQ4 話者IDおよびノイズタイプ情報は、モデルに効果的に統合可能であり、さらなる性能向上に寄与するか？
• RQ5 並列学習と軽量な統合を用いることで、計算複雑性を低減しつつ、高い性能を維持できるか？

主な発見

• DAEMEは、特に未知のノイズタイプにおいて、ベースラインモデルを大きく上回るPESQおよびSTOIスコアを達成し、汎化性能の向上が確認された。
• 主観的聴取テストでは、AB preferenceテストの78％でBLSTMよりもDAEMEが好まれ、SIG（信号品質）およびBAK（ノイズ品質）の平均スコアも上回った。
• CNNベースのデコーダーは、2層全結合ネットワーク、線形変換、およびビームフォーミング（BF）アプローチよりも優れた性能を示し、非線形統合の利点を実証した。
• DSDTに基づくコンポーネントモデル構造は、ランダムツリーまたは単一モデルベースラインよりも優れた性能を示し、特に発話レベルおよび信号レベル属性を併用したUSATツリーにおいて顕著だった。
• コンポーネントモデルの並列学習が可能であり、デコーダーが軽量であるため、全体の複雑性が低減された。一方で、BLSTMコンponentが計算コストの大部分を占める。
• コンポーネントモデルに話者ID情報を統合することで、さらなる強調品質の向上が得られた。これは、モデルが追加の音響特徴を効果的に統合できる柔軟性を有することを示している。