[論文レビュー] Multi-Microphone Complex Spectral Mapping for Speech Dereverberation

Zhong-Qiu Wang, DeLiang Wang|arXiv (Cornell University)|Mar 4, 2020

Speech and Audio Processing参考文献 40被引用数 4

ひとこと要約

本稿では、固定マイクロホンアレイを用いたリバーブ環境下における音声劣化の課題に応えるために、深層ニューラルネットワーク（DNN）を用いたマルチマイクロホン複素スペクトルマッピング手法を提案する。この手法は、複数のマイクロホンからの重ね合わせたリバーブ混在およびノイズ混在信号のスペクトル表現から、直接音の実部および虚部を予測する。本手法は、ビームフォーミングとポストフィルタリングとを組み合わせることで、音声品質および聞き取りやすさを向上させ、マルチチャネルリバーブ除去タスクにおいて最先端の性能を示している。

ABSTRACT

This study proposes a multi-microphone complex spectral mapping approach for speech dereverberation on a fixed array geometry. In the proposed approach, a deep neural network (DNN) is trained to predict the real and imaginary (RI) components of direct sound from the stacked reverberant (and noisy) RI components of multiple microphones. We also investigate the integration of multi-microphone complex spectral mapping with beamforming and post-filtering. Experimental results on multi-channel speech dereverberation demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 固定マイクロホンアレイを用いたリバーブ環境下における音声劣化の課題に対処すること。
• マルチマイクロホンのリバーブ混在入力から直接音成分を推定する深層学習ベースの手法を開発すること。
• 複数のマイクロホンにわたる実部および虚部スペクトル成分を統合的にモデル化することで、音声リバーブ除去性能を向上させること。
• 複素スペクトルマッピングをビームフォーミングおよびポストフィルタリングと統合し、より高い耐障害性を実現すること。
• 提案手法の有効性を実世界のマルチチャネル音声リバーブ除去タスクにおいて実証すること。

提案手法

• DNNは、複数のリバーブ混在およびノイズ混在マイクロホン信号の重ね合わせた実部および虚部（RI）成分から、直接音の実部および虚部を予測するように学習される。
• DNNの入力は、マルチマイクロホン信号の複素スペクトル表現であり、空間的および周波数的特徴を捉えている。
• ネットワークアーキテクチャは、マイクロホン間の位相差および振幅差をモデル化するように設計されており、直接音声信号の回復を目的としている。
• 本手法は、残存リバーブおよびノイズをさらに抑制するために、ビームフォーミングとポストフィルタリングと組み合わせられている。
• 学習の目的関数は、予測された直接音の実部および虚部と真値との間の平均二乗誤差を最小化することである。
• 本手法は短時間フーリエ変換（STFT）領域で動作し、音声信号の時間周波数ドメイン処理を可能としている。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、マルチマイクロホンのリバーブ混在入力から直接音の実部および虚部を効果的に推定できるか？
• RQ2 マルチマイクロホン複素スペクトルマッピングは、単一マイクロホン手法と比較して、リバーブ除去性能に優れているか？
• RQ3 ビームフォーミングおよびポストフィルタリングと統合することで、音声品質および聞き取りやすさはどの程度向上するか？
• RQ4 本手法は、リバーブおよびノイズ条件が変化する状況でもどの程度耐障害性を示すか？
• RQ5 実部および虚部の複素スペクトル成分をモデル化することの貢献は、マグニチュードのみの表現と比較してどの程度大きいのか？

主な発見

• 提案手法は、ベースラインのリバーブ除去技術と比較して、音声品質および聞き取りやすさに顕著な向上を示した。
• 複素スペクトルマッピングをビームフォーミングおよびポストフィルタリングと統合することで、特に高リバーブ環境下で優れた性能が得られた。
• 実部および虚部のDNNベースの予測は、マグニチュードのみのモデル化を上回り、音声認識に不可欠な位相情報を保持している。
• 本手法は、高レベルの背景ノイズおよび長時間のリバーブを含む多様な音響条件下でも、優れた耐障害性を示した。
• 定量的評価では、対数尤度およびSTOI（Short-Time Objective Intelligibility）スコアが顕著に低下しており、音声品質の向上が示された。
• 本手法は標準的なマルチチャネル音声リバーブ除去データセットを用いて検証され、有効性および一般化能力が確認された。