[論文レビュー] Speech Dereverberation Based on Integrated Deep and Ensemble Learning.

Wei‐Jen Lee, Syu‐Siang Wang+4 more|arXiv (Cornell University)|Jan 12, 2018

Speech and Audio Processing被引用数 1

ひとこと要約

本論文は、複数の環境固有のディープニューラルネットワークモデルを統合し、統一された統合関数を用いることで、音声のエコー除去に効果的な統合的深層学習（IDEL）フレームワークを提案する。オフライン段階では、各音響環境に特化した個々のモデルを学習し、最適な統合戦略を学習する。オンライン段階では、入力音声にすべてのモデルを適用し、それらの出力を統合する。この手法は、一致する条件および不一致の条件の両方において、単一モデル手法を顕著に上回る性能を発揮する。

ABSTRACT

Reverberation, which is generally caused by sound reflections from walls, ceilings, and floors, can result in severe performance degradations of acoustic applications. Due to a complicated combination of attenuation and time-delay effects, the reverberation property is difficult to characterize, and it remains a challenging task to effectively retrieve the anechoic speech signals from reverberation ones. In the present study, we proposed a novel integrated deep and ensemble learning (IDEL) algorithm for speech dereverberation. The IDEL algorithm consists of offline and online phases. In the offline phase, we train multiple dereverberation models, each aiming to precisely dereverb speech signals in a particular acoustic environment; then a unified fusion function is estimated that aims to integrate the information of multiple dereverberation models. In the online phase, an input utterance is first processed by each of the dereverberation models. The outputs of all models are integrated accordingly to generate the final anechoic signal. We evaluated IDEL on designed acoustic environments, including both matched and mismatched conditions of the training and testing data. Experimental results confirm that the proposed IDEL algorithm outperforms single deep-neural-network-based dereverberation model with the same model architecture and training data.

研究の動機と目的

• 複雑な音響環境におけるエコーによる音声品質の低下と音声認識性能の劣化という課題に取り組む。
• エコー信号に内在する時間遅延および減衰効果をモデル化する難しさを克服する。
• 訓練とテストの音響条件が一致する場合と不一致する場合の両方において、一般化可能なフレームワークを開発する。
• 統一された統合メカニズムを通じて複数の専用モデルを統合することで、単一のディープニューラルネットワークモデルを上回る性能を実現する。

提案手法

• オフライン段階で、特定の音響環境に最適化された複数のディープニューラルネットワークモデルを学習し、その環境で信号を正確にエコー除去する。
• オフライン段階で、すべての個別なエコー除去モデルの出力を最適に統合する統一された統合関数を推定する。
• オンライン段階で、同じ入力音声に対して各訓練済みモデルを独立して適用し、複数のエコー除去出力を生成する。
• 学習済みの統合関数を用いて、すべてのモデルの出力を統合し、最終的なエコーのない音声信号を生成する。
• すべての個別モデルで一貫したモデルアーキテクチャを用いることで、単一モデルベースラインとの公平な比較を確保する。
• 一貫性のある評価プロトコルを設計し、一致する（同じ環境）および不一致する（異なる環境）テスト条件を含め、耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 環境固有のディープニューラルネットワークモデルのアンサンブルは、単一モデルと比較して音声エコー除去性能を向上させるか？
• RQ2 統一された統合関数は、異なる音響環境における多様なモデル出力を効果的に統合できるか？
• RQ3 IDELフレームワークは、訓練とテストの環境が不一致する状況でも優れた性能を維持できるか？
• RQ4 複数のモデルの統合により、エコー除去品質に与える環境変動の影響はどの程度軽減されるか？

主な発見

• 同じアーキテクチャと学習データを用いた単一のディープニューラルネットワークモデルと比較して、IDELアルゴリズムは一致する条件および不一致する条件の両方で優れた性能を示す。
• 複数の環境固有モデルの統合により、多様なエコー環境における耐性と一般化性能が向上する。
• 統一された統合関数は、個々のモデルの相補的な強みを効果的に統合し、信号品質の向上をもたらす。
• 提案手法は、特に単一モデルが失敗する困難な不一致シナリオにおいて、顕著な性能向上を達成する。