[論文レビュー] AV Speech Enhancement Challenge using a Real Noisy Corpus

Mandar Gogate, Ahsan Adeel+3 more|arXiv (Cornell University)|Sep 30, 2019

Speech and Audio Processing参考文献 10被引用数 7

ひとこと要約

本論文は、カフェテリアやレストランなどの騒がしい環境で記録された、画面上下文の音声強調のための画面上下文音声コーパスであるASPIREコーパスを紹介する。音声と視覚的特徴を統合する深層畳み込みニューラルネットワーク（CochleaNet）を用いて、本研究では実際の騒がしい条件下で音声のみの手法よりも顕著に優れた性能を示すことを実証した。AV CochleaNetはMUSHRAテストにおいて最高の主観的品質スコアを達成した。

ABSTRACT

This paper presents, a first of its kind, audio-visual (AV) speech enhacement challenge in real-noisy settings. A detailed description of the AV challenge, a novel real noisy AV corpus (ASPIRE), benchmark speech enhancement task, and baseline performance results are outlined. The latter are based on training a deep neural architecture on a synthetic mixture of Grid corpus and ChiME3 noises (consisting of bus, pedestrian, cafe, and street noises) and testing on the ASPIRE corpus. Subjective evaluations of five different speech enhancement algorithms (including SEAGN, spectrum subtraction (SS) , log-minimum mean-square error (LMMSE), audio-only CochleaNet, and AV CochleaNet) are presented as baseline results. The aim of the multi-modal challenge is to provide a timely opportunity for comprehensive evaluation of novel AV speech enhancement algorithms, using our new benchmark, real-noisy AV corpus and specified performance metrics. This will promote AV speech processing research globally, stimulate new ground-breaking multi-modal approaches, and attract interest from companies, academics and researchers working in AV speech technologies and applications. We encourage participants (through a challenge website sign-up) from both the speech and hearing research communities, to benefit from their complementary approaches to AV speech in noise processing.

研究の動機と目的

• マルチモーダル音声強調システムの評価に用いられる、現実的で自然に記録されたAV音声コーパスが不足しているという問題に取り組むこと。
• 現実的なノイズ、話者の移動、視覚的遮断を反映した、実生活におけるLombard効果の状況を再現するベンチマークデータセットを提供すること。
• 主観的聴取テストを用いて、実際の騒がしいコーパス上で音声・視覚的音声強調アルゴリズムの性能を評価すること。
• 標準化された評価指標を用いた公開チャレンジを提供することで、マルチモーダル音声処理分野におけるイノベーションを促進すること。
• 共通のベンチマークを提供することで、音声処理と聴覚研究のコミュニティ間の協力を促進すること。

提案手法

• ASPIREコーパスは、カフェテリアやレストランなどの実際の騒がしい環境と、音響的に遮断されたブースで収録された。バイナリックマイクと30 fpsのiPadによる動画記録を用いた。
• 各話者は、実際の騒がしい状況とブース内での2条件で1000発話ずつ収録し、合計10,000発話の多様な英語アクセントを含む。
• 発話の同期にはクラップによるドリフト補正を用い、発話のセグメンテーションにはGentleを用いた強制アラインメントを実施した。
• 動画の後処理では、セグメンテーションマスクを用いて話者でない領域をピクセル化することで、プライバシーを保護した。
• CochleaNetという深層畳み込みニューラルネットワークを、GridコーパスとChiME3のノイズ（バス、カフェ、ストリート、歩行者）の合成混合信号上で学習した。SNRは-12〜9 dBの範囲で3 dB刻みで設定した。
• AV CochleaNetモデルは、音声と視覚的特徴を統合し、時間周波数ビン単位でのスペクトルマスク推定を実行するが、SNRに依存しない。

実験結果

リサーチクエスチョン

• RQ1 音声・視覚的音声強調は、音声のみの手法と比較して、実際の騒がしいコーパス上でどのように性能を発揮するか？
• RQ2 合成データで学習したディープラーニングモデルは、実世界の騒がしい環境にうまく一般化できるか？
• RQ3 視覚的特徴は、反響が強く、複数の音源が存在する騒がしい環境下で、どれほど音声品質を向上させるか？
• RQ4 実際の騒がしいAVデータでテストした場合、異なる音声強調アルゴリズムはどのように主観的品質で順位付けされるか？
• RQ5 マルチモーダルアプローチは、従来の音声のみの手法と比較して、Lombard効果や話者の移動をより効果的に処理できるか？

主な発見

• AV CochleaNetは、すべての評価手法の中で最高のMUSHRAスコアを達成し、実際の騒がしいデータ上での優れた性能を示した。
• 主観的聴取テストの結果、AV CochleaNetは音声のみのCochleaNet、SEGAN、スペクトル減算（SS）、LMMSEを顕著に上回った。
• モデルは実際の騒がしい状況にうまく一般化しており、反響と複数の音源の背景ノイズを効果的に抑制した。
• 視覚的情報の統合により、特に話者の移動や遮断が生じる高ノイズ環境下で、音声品質に顕著な向上が見られた。
• ASPIREコーパスは、AV音声強調システムの信頼性のあるベンチマークを可能にし、マルチモーダルアプローチが実世界の耐障害性にとって不可欠であることが実証された。
• 公開データと標準化された評価を含むチャレンジフレームワークにより、研究機関間で再現可能で比較可能な研究が促進された。