[논문 리뷰] VSEGAN: Visual Speech Enhancement Generative Adversarial Network

Xinmeng Xu, Yan Wang외 5명|arXiv (Cornell University)|2021. 02. 04.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 입술 움직임의 시각 정보를 활용하여 노이즈가 있는 음성을 향상시키는 생성적 적대적 네트워크인 VSEGAN을 제안한다. 다층 컨볼루션 인코더-디코더 아키텍처를 통해 음성과 시각 특징을 융합하고, 최소 제곱 생성적 적대적 네트워크 손실을 사용하여 훈련함으로써, VSEGAN은 GRID 데이터셋에서 음성 품질과 명료성 측면에서 최신 기술 수준(SOTA)의 성능을 달성한다. 0 dB SNR에서 PESQ는 3.10, STOI는 89.8%를 기록하며, 오직 음성 기반 모델과 기준 오디오-시각 모델을 모두 초월한다.

ABSTRACT

Speech enhancement is an essential task of improving speech quality in noise scenario. Several state-of-the-art approaches have introduced visual information for speech enhancement,since the visual aspect of speech is essentially unaffected by acoustic environment. This paper proposes a novel frameworkthat involves visual information for speech enhancement, by in-corporating a Generative Adversarial Network (GAN). In par-ticular, the proposed visual speech enhancement GAN consistof two networks trained in adversarial manner, i) a generator that adopts multi-layer feature fusion convolution network to enhance input noisy speech, and ii) a discriminator that attemptsto minimize the discrepancy between the distributions of the clean speech signal and enhanced speech signal. Experiment re-sults demonstrated superior performance of the proposed modelagainst several state-of-the-art

연구 동기 및 목표

• 노이즈가 있는 환경에서 입술 움직임의 시각 정보를 활용하여 음성 향상 성능을 향상시키기 위해.
• 낮은 SNR 조건에서 음성 명료성과 품질을 유지하는 데 한계가 있는 오직 음성 기반 음성 향상 모델의 문제점을 해결하기 위해.
• 딥 러닝 기반 생성 모델링을 사용하여 강력하고 종단 간 오디오-시각 음성 향상 프레임워크를 개발하기 위해.
• 시각적 자극을 통한 적대적 훈련이 향상된 음성의 청각적 품질과 명료성 향상에 기여하는지 조사하기 위해.
• 다층 특징 융합과 GAN 기반 훈련이 시각적 음성 향상의 강건성과 성능 향상에 기여하는지 증명하기 위해.

제안 방법

• 모델은 생성자에 노이즈가 있는 음성과 시각 영상 프레임을 입력으로 받아 향상된 음성을 생성하는 조건부 GAN 프레임워크를 사용한다.
• 생성자는 별도의 음성(Conv-A) 및 시각(Conv-V) 인코더를 갖춘 다층 특징 융합 컨볼루션 네트워크를 사용하며, 이후 오디오-시각 융합(Conv-AV)과 역컨볼루션을 사용한 디코더로 구성된다.
• 판별자는 실제 청소된 음성과 생성자가 생성한 향상된 음성을 구분하도록 훈련되며, 기울기 소실 문제를 완화하기 위해 최소 제곱 생성적 적대적 네트워크 손실을 사용한다.
• 훈련 목표는 청각적 손실(L1)과 GAN 손실을 조합한 것으로, 두 성분을 균형 잡기 위해 하이퍼파rameter λ = 100을 사용한다.
• 음성 특징은 로그-멜 스펙트로그램(80밴드, 40ms 윈도우, 10ms 힙)으로 표현되며, 영상 프레임은 공간적 및 시간적 컨볼루션을 적용한 5프레임 클립으로 처리된다.
• 모델은 ADAM 옵tim자와 고정된 학습률 1e-4, 배치 크기 8을 사용하여 70 에포크 동안 훈련된다.

Fig. 1 : Network architecture of generator. Conv-A, Conv-V, Conv-AV, BN, and Deconv denote convolution of audio encoder, convolution of video encoder, convolution of audio-visual fusion, batch normalization, and transposed convolution.

실험 결과

연구 질문

• RQ1 입술 움직임의 시각 정보가 노이즈가 있는 환경에서 음성 향상 성능을 크게 향상시킬 수 있는가?
• RQ2 적대적 훈련을 통한 GAN 기반 프레임워크 도입이 오디오-시각 음성 향상에서 더 나은 청각적 품질과 명료성을 제공하는가?
• RQ3 오디오 및 시각 스트림 간의 다층 특징 융합이 향상 모델의 성능과 훈련 안정성에 어떤 영향을 미치는가?
• RQ4 PESQ 및 STOI 지표 측면에서 VSEGAN은 최신 기술 수준의 오디오-시각 음성 향상 모델보다 어떻게 비교되는가?
• RQ5 특히 낮은 SNR 수준에서, 제안된 모델은 다양한 SNR 조건에 대해 강건한가?

주요 결과

• 0 dB SNR에서 VSEGAN은 PESQ 점수 3.10과 STOI 점수 89.8%를 기록하여, SEGAN(PESQ: 2.21, STOI: 77.3%)과 기준 모델(PESQ: 2.94, STOI: 87.9%)을 모두 뛰어넘었다.
• -5 dB SNR에서 VSEGAN은 PESQ 2.88과 STOI 86.8%를 기록하여 극도로 노이즈가 많은 조건에서도 강력한 성능을 보였다.
• GRID 데이터셋에서 VSEGAN은 OVA(PESQ: 2.69, STOI: 89.75%)와 AV(SE)2(PESQ: 2.98, STOI: 89.44%)를 포함한 최근 최신 기술 수준의 모델들을 PESQ 및 STOI 지표 모두에서 뛰어넘었다.
• 시각 특징 융합과 GAN 훈련이 향상 품질을 크게 향상시켰음을 확인할 수 있었으며, 이는 오직 음성 기반의 SEGAN과 오디오-시각 GAN 기반의 VSEGAN 간 성능 격차로 입증되었다.
• 스펙트로그램 시각화 결과, VSEGAN은 기준 모델 및 생성자 전용 모델 대비 더 많은 세밀한 스펙트럼 세부 정보를 유지하고 노이즈를 더 효과적으로 감소시킴을 확인했다.
• 모델의 성능 향상은 시각적 자극 통합과 적대적 훈련의 조합 덕분이며, 이는 신호 기반 손실만으로는 달성할 수 없는 청각적 품질 향상을 가능하게 한다고 판단된다.

Fig. 2 : Network architecture of discriminator, and GAN training procedure.