[論文レビュー] Learning Audio-Visual Dereverberation

Changan Chen, Wei Sun+2 more|arXiv (Cornell University)|Jun 14, 2021

Speech and Audio Processing参考文献 60被引用数 5

ひとこと要約

本稿では、部屋の幾何学的形状、素材、話者の位置といった視覚的情報を活用して音声の混响を改善するエンドツーエンドの音声・視覚深層学習モデルであるVisually-Informed Dereverberation of Audio (VIDA) を提案する。視覚的音響ネットワークとマルチモーダルUNet、および新規の音声・視覚一致損失を組み合わせることで、模擬的および現実世界のデータの両方で、音声強調、音声認識、話者識別において最先端の性能を達成し、音声のみのベースラインを上回る。

ABSTRACT

Reverberation not only degrades the quality of speech for human perception, but also severely impacts the accuracy of automatic speech recognition. Prior work attempts to remove reverberation based on the audio modality only. Our idea is to learn to dereverberate speech from audio-visual observations. The visual environment surrounding a human speaker reveals important cues about the room geometry, materials, and speaker location, all of which influence the precise reverberation effects. We introduce Visually-Informed Dereverberation of Audio (VIDA), an end-to-end approach that learns to remove reverberation based on both the observed monaural sound and visual scene. In support of this new task, we develop a large-scale dataset SoundSpaces-Speech that uses realistic acoustic renderings of speech in real-world 3D scans of homes offering a variety of room acoustics. Demonstrating our approach on both simulated and real imagery for speech enhancement, speech recognition, and speaker identification, we show it achieves state-of-the-art performance and substantially improves over audio-only methods.

研究の動機と目的

• 複雑な音響環境下で正確な混響推定に必要な制約が不足する音声のみの混響除去手法の限界を解消すること。
• 部屋のレイアウト、素材、話者の位置といった環境の視覚的観測が、音声の混響除去の改善に意味のある手がかりを提供できるかどうかを検討すること。
• 訓練および評価のための、真のクリアな音声、空間的に登録された視覚的および音響データを備えた大規模かつ現実的な音声・視覚データセットの構築。
• 音声と視覚の入力を統合して混響を推定・除去するマルチモーダル深層学習フレームワークの設計。

提案手法

• VIDAは、3次元環境の視覚的観測を符号化し、幾何学的形状、素材、話者位置を含む部屋の音響特性を推定する視覚的音響ネットワーク（VAN）を採用する。
• マルチモーダルUNetアーキテクチャが視覚的および音声的特徴を統合し、混響のある入力からクリアなスペクトログラムを予測する。アテンション機構を用いて関連する視覚的および音声的特徴を一致させる。
• 音声から推定された混響特徴と、視覚的入力から予測された特徴の整合性を保証するため、新規の音声・視覚（AV）一致損失を導入する。
• モデルは、現実世界のスキャン済みの屋内環境でリアルな音声と音響をレンダリングする3Dシミュレータを用いて生成された大規模なデータセット、SoundSpaces-Speech で訓練される。
• 合成データで訓練し、現実世界の音声・視覚記録でファインチューニングすることで、シミュレーションから現実への転移をサポートする。
• 音声強調（PESQ）、自動音声認識（WER）、話者認証（EER）の複数の下流タスクで評価される。

Fig. 1: The goal of audio-visual dereverberation is to leverage the visual observation of the environment to improve speech enhancement.

実験結果

リサーチクエスチョン

• RQ1 視覚的情報を用いることで、音声のみの手法と比較して、音声の混響除去の精度が顕著に向上するか？
• RQ2 部屋の幾何学的形状、素材、話者の位置といった視覚的手がかりが、混響特性のモデリングにどの程度寄与するか？
• RQ3 シミュレーションで訓練されたモデルが現実世界の音声・視覚データにどの程度一般化できるか、また視覚入力が多様な音響環境下での頑健性に与える影響は？
• RQ4 統合損失関数を通じて視覚的および音声的特徴を統合することで、学習された表現における混響関連要因の分離がより効果的に行われるか？

主な発見

• 実世界のテストデータにおいて、VIDAはWERが13.02%を達成し、次善のベースライン（MetricGAN+）の21.42%を顕著に下回った。
• 同じ実世界データにおいて、VIDAはEERを3.75%に低下させ、MetricGAN+の5.70%を下回り、話者認証性能が優れていることを示した。
• アブレーションスタディの結果、3D人間メッシュを除いた（w/o human mesh）とWERが15.18%に上昇し、ランダム画像を用いた（w/ random image）とWERが14.71%に上昇した。これは、モデルが話者およびシーンの幾何学的形状の両方に依存していることを証明している。
• t-SNE可視化により、モデルが学習した音声的および視覚的特徴が、真の話者までの距離およびRT60と相関していることが確認され、音響パrameterの有効な分離が行われていることが示された。
• アトリウムやコロニアルのような非常に混響の強い環境では、VIDAにVANを組み込むことで、VANなしのベースラインと比較してWERが最大50%まで低下し、遠方条件でも顕著に効果を示した。
• モデルは強力なシミュレーションから現実への一般化性能を示し、実世界データにおける性能がシミュレーション結果と密接に一致しており、SoundSpaces-Speechデータセットの現実性が裏付けられた。

Fig. 2: Visual cues reveal key factors influencing reverb effects on human speech audio. For example, these audio speech samples (depicted as waveforms and spectrograms) are identical lexically, but have very different reverberation properties owing to their differing environments. In the church, re