[논문 리뷰] Learning Audio-Visual Dereverberation

Changan Chen, Wei Sun외 2명|arXiv (Cornell University)|2021. 06. 14.

Speech and Audio Processing참고 문헌 60인용 수 5

한 줄 요약

이 논문은 시각적 환경 정보—예를 들어 실내 구조, 재질, 화자 위치—를 활용하여 음성의 다중 반향을 개선하는 엔드 투 엔드 음성-시각 딥 러닝 모델인 Visually-Informed Dereverberation of Audio (VIDA)를 소개한다. 시각적 음향 네트워크와 다중 모달 UNet, 그리고 새로운 음성-시각 일치 손실을 결합함으로써 VIDA는 음성 강화, 음성 인식, 화자 식별 분야에서 최신 기술 수준의 성능을 달성하며, 시뮬레이션 및 실제 환경 데이터 모두에서 오직 음성 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Reverberation not only degrades the quality of speech for human perception, but also severely impacts the accuracy of automatic speech recognition. Prior work attempts to remove reverberation based on the audio modality only. Our idea is to learn to dereverberate speech from audio-visual observations. The visual environment surrounding a human speaker reveals important cues about the room geometry, materials, and speaker location, all of which influence the precise reverberation effects. We introduce Visually-Informed Dereverberation of Audio (VIDA), an end-to-end approach that learns to remove reverberation based on both the observed monaural sound and visual scene. In support of this new task, we develop a large-scale dataset SoundSpaces-Speech that uses realistic acoustic renderings of speech in real-world 3D scans of homes offering a variety of room acoustics. Demonstrating our approach on both simulated and real imagery for speech enhancement, speech recognition, and speaker identification, we show it achieves state-of-the-art performance and substantially improves over audio-only methods.

연구 동기 및 목표

• 복잡한 음향 환경에서 정확한 반향 추정을 위한 충분한 제약 조건이 부족한 오직 음성 기반 반향 제거 방법의 한계를 해결하기 위해.
• 실내 구조, 재질, 화자 위치와 같은 환경의 시각적 관측이 음성 반향 제거 향상에 의미 있는 단서를 제공할 수 있는지 탐색하기 위해.
• 훈련 및 평가를 위해 지상 진실(clean speech) 음성과 공간적으로 정렬된 시각 및 음향 데이터를 포함하는 대규모이고 현실적인 음성-시각 데이터셋을 개발하기 위해.
• 음성과 시각 입력을 함께 모델링하여 음성 신호의 반향을 추론하고 제거하는 다중 모달 딥 러닝 프레임워크를 설계하기 위해.

제안 방법

• VIDA는 실내 환경의 시각적 관측을 인코딩하여 실내 음향, 즉 구조, 재질, 화자 위치를 추론하는 시각적 음향 네트워크(VAN)를 활용한다.
• 다중 모달 UNet 아키텍처는 시각적 및 음성 특징을 융합하여 반향이 있는 입력에서 청소된 스펙트로그램을 예측하며, 관련된 시각적 및 음성 단서를 정렬하기 위해 주의 메커니즘을 사용한다.
• 음성과 시각 간의 일관성을 강제하기 위해 새로운 음성-시각(AV) 일치 손실이 도입된다.
• 모델는 실내 스캔 환경에서 실제 음성과 음향을 렌더링하는 3D 시뮬레이터를 통해 생성된 대규모 데이터셋인 SoundSpaces-Speech에서 훈련된다.
• 합성 데이터에서 훈련하고 실제 음성-시각 기록에서 미세 조정함으로써 시뮬레이션에서 실제 환경으로의 전이를 지원한다.
• 프레임워크는 음성 강화(PESQ), 자동 음성 인식(WER), 화자 확인(EER)과 같은 여러 후행 작업에서 평가된다.

Fig. 1: The goal of audio-visual dereverberation is to leverage the visual observation of the environment to improve speech enhancement.

실험 결과

연구 질문

• RQ1 오직 음성 기반 방법과 비교할 때, 시각적 환경 정보가 음성 반향 제거 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 실내 구조, 재질, 화자 위치와 같은 시각적 단서가 반향 특성 모델링에 얼마나 기여하는가?
• RQ3 시뮬레이션에서 훈련된 모델이 실제 음성-시각 데이터로 일반화되는 정도는 어떠한가? 그리고 다양한 음향 환경에서의 강인성에 대해 시각 입력이 미치는 영향은 무엇인가?
• RQ4 공동 손실 함수를 통한 시각 및 음성 특징 통합이 학습된 표현에서 반향 관련 요소를 얼마나 효과적으로 분리하는가?

주요 결과

• VIDA는 실제 환경 테스트 데이터에서 13.02%의 단어 오류률(WER)을 기록하여, 다음으로 우수한 기준인 MetricGAN+의 21.42% WER보다 뚜렷이 뛰어나다.
• 동일한 실제 환경 데이터에서 VIDA는 EER을 3.75%로 낮추었으며, 이는 MetricGAN+의 5.70%보다 뛰어난 성능을 보여, 화자 확인에서 뛰어난 성능을 발휘함을 시사한다.
• 제거 실험 결과, 3D 인간 메시 제거(w/o human mesh) 시 WER가 15.18%로 증가하고, 무작위 이미지 사용(w/ random image) 시 WER가 14.71%로 증가함을 통해 모델이 화자 및 환경 기하학 모두에 의존하고 있음을 입증한다.
• t-SNE 시각화 결과, 모델이 학습한 음성 및 시각 특징이 실제 화자와의 거리와 RT60와 상관관계가 있음을 확인하여, 음향 매개변수의 효과적인 분리가 이루어졌음을 확인한다.
• 아트리움 및 복도와 같은 매우 반향이 강한 환경에서는 VIDA가 VAN을 사용할 경우 기준보다 WER을 최대 50%까지 감소시키며, 특히 원거리 조건에서 뚜렷한 성능 향상을 보인다.
• 모델는 강력한 시뮬레이션-실제 전이 성능를 보이며, 실제 데이터에서의 성능가 시뮬레이션 결과와 밀접하게 일치함을 통해 SoundSpaces-Speech 데이터셋의 현실성에 대한 타당성을 입증한다.

Fig. 2: Visual cues reveal key factors influencing reverb effects on human speech audio. For example, these audio speech samples (depicted as waveforms and spectrograms) are identical lexically, but have very different reverberation properties owing to their differing environments. In the church, re