[論文レビュー] Distributed Microphone Speech Enhancement based on Deep Learning

Syu‐Siang Wang, Yu-You Liang+4 more|arXiv (Cornell University)|Nov 19, 2019

Speech and Audio Processing参考文献 39被引用数 5

ひとこと要約

本論文は、拡散雑音環境下における分散マイクロホンアレイ向けに、3つのディープニューラルネットワーク（DNN）ベースの音声強調（SE）システムを提案する。DNN–Cシステムは、チャンネル別DNN強調の後に2番目のDNNによる統合を実行するが、これは単一チャネル（DNN–S）および集中型統合（DNN–F）アプローチを上回り、TMHINTデータセットにおいて16.729 dBのSSNRI向上と0.770のSTOIスコアを達成した。

ABSTRACT

Speech-related applications deliver inferior performance in complex noise environments. Therefore, this study primarily addresses this problem by introducing speech-enhancement (SE) systems based on deep neural networks (DNNs) applied to a distributed microphone architecture, and then investigates the effectiveness of three different DNN-model structures. The first system constructs a DNN model for each microphone to enhance the recorded noisy speech signal, and the second system combines all the noisy recordings into a large feature structure that is then enhanced through a DNN model. As for the third system, a channel-dependent DNN is first used to enhance the corresponding noisy input, and all the channel-wise enhanced outputs are fed into a DNN fusion model to construct a nearly clean signal. All the three DNN SE systems are operated in the acoustic frequency domain of speech signals in a diffuse-noise field environment. Evaluation experiments were conducted on the Taiwan Mandarin Hearing in Noise Test (TMHINT) database, and the results indicate that all the three DNN-based SE systems provide the original noise-corrupted signals with improved speech quality and intelligibility, whereas the third system delivers the highest signal-to-noise ratio (SNR) improvement and optimal speech intelligibility.

研究の動機と目的

• 複雑な雑音環境下での分散マイクロホンアレイを用いた音声品質および理解度の低下を是正すること。
• 拡散雑音場におけるマルチチャネル音声強調のための3つの異なるDNNアーキテクチャの有効性を調査すること。
• 分散マイクロホンSEにおける単一チャネル、集中型統合、および2段階統合DNN構造の比較。
• TMHINTデータベースを用いてSTOIおよびSSNRIなどの目的指標を用いて性能を評価すること。

提案手法

• DNN–Sシステムは、各マイクロホンチャネルに別個のDNNを適用し、個別にノイズ低減を実行する。
• DNN–Fシステムは、すべてのノイズ混在音声を統合センターに送信し、1つのDNNが統合されたマルチチャネル入力を処理する。
• DNN–Cシステムは、まず各チャネルごとにDNN強調を実行し、その後、2番目のDNNによる統合で最終的な信号再構築を実行する。
• すべてのシステムは、TMHINTデータセットを用いてさまざまなノイズ条件下で学習されたDNNを用い、音響周波数領域で動作する。
• DNNはスペクトル歪みを最小化するように学習され、評価はSTOI（短時間目的的理解度）およびSSNRI（信号対部分空間雑音比改善度）に基づく。
• 空間的ダイバーシティとディープラーニングを活用し、拡散雑音下での音声品質および理解度の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 個々のチャネルにDNN処理を施す分散マイクロホンアレイ（DNN–S）と、集中型DNN処理（DNN–F）を比較した場合、音声強調性能にどのような差が生じるか。
• RQ2 局所的強調と統合を組み合わせた2段階DNNアーキテクチャ（DNN–C）は、1段階処理または集中型アプローチを上回る性能を発揮できるか。
• RQ3 マイクロホンの配置やチャネル固有の雑音が、拡散雑音環境下でのDNNベースSE性能に与える影響は何か。
• RQ4 異なる雑音タイプおよびSNRレベルにおいて、STOIおよびSSNRIなどの目的指標でDNNベースシステムの性能をどのように比較できるか。

主な発見

• DNN–Cシステムは平均で16.729 dBのSSNRI向上を達成し、DNN–S（11.464 dB）およびDNN–F（12.760 dB）を顕著に上回った。
• DNN–Cシステムは0.770の最高STOIスコアを記録し、DNN–F（0.764）およびDNN–S（0.678）を上回り、優れた話者の理解度を示した。
• DNN–Sシステムはチャネル間で性能が不安定であり、DNN–S1のm1チャネルでは入力（0.672）よりも低いSTOI（0.670）を示しており、過学習の可能性がある。
• スペクトログラム解析により、DNN–CがDNN–Fよりも明確なスペクトル構造を保持し、特に高周波数帯域でノイズをより効果的に低減していることが確認された。
• 視覚的に図7(d)で確認したように、DNN–Cシステムのスペクトログラムはクリアな参照信号に最も近い形状を示した。
• 結果から、局所的強調と統合DNN段階を組み合わせることで、分散マイクロホンSEにおける優れたノイズ低減および理解度向上が達成できることを確認した。