[논문 리뷰] MFFCN: Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement.

Xinmeng Xu, Dongxiang Xu외 3명|arXiv (Cornell University)|2021. 01. 02.

Speech and Audio Processing참고 문헌 38인용 수 5

한 줄 요약

이 논문은 소음 환경에서의 음성 향상 성능을 향상시키기 위해 음성과 시각적 말하기 특징을 계층적으로 융합하는 다층 특징 융합 컨볼루션 네트워크(MFFCN)를 제안한다. 단순 연결을 초월해 모odal 간 정렬을 학습함으로써, -15 dB SNR에서 상대적 향상도 최대 24%에 달하고 PESQ 점수는 1.21에서 2.06으로 상승한다.

ABSTRACT

The purpose of speech enhancement is to extract target speech signal from a mixture of sounds generated from several sources. Speech enhancement can potentially benefit from the visual information from the target speaker, such as lip move-ment and facial expressions, because the visual aspect of speech isessentially unaffected by acoustic environment. In order to fuse audio and visual information, an audio-visual fusion strategy is proposed, which goes beyond simple feature concatenation and learns to automatically align the two modalities, leading to more powerful representation which increase intelligibility in noisy conditions. The proposed model fuses audio-visual featureslayer by layer, and feed these audio-visual features to each corresponding decoding layer. Experiment results show relative improvement from 6% to 24% on test sets over the audio modalityalone, depending on audio noise level. Moreover, there is a significant increase of PESQ from 1.21 to 2.06 in our -15 dB SNR experiment.

연구 동기 및 목표

• 음성 전용 방법이 어려움을 겪는 소음이 많은 음향 환경에서 떨어진 음성 품질 문제를 해결한다.
• 입술 움직임과 얼굴 표정과 같은 시각적 말하기 단서를 활용하여 배경 소음에 대한 강건성을 향상시킨다.
• 다양한 네트워크 계층에서 음성과 시각적 특징을 정렬하고 융합하는 딥 러닝 프레임워크를 개발한다.
• 특히 저 SNR 조건에서 음성 전용 기준보다 더 나은 음성 향상 성능을 향상시킨다.
• 종단 간 음성-시각적 특징 융합을 통해 음성의 지능성과 주관적 품질을 향상시킨다.

제안 방법

• 각 인코더 및 디코더 계층에서 음성과 시각적 특징을 융합하는 다층 특징 융합(MFF) 전략을 제안한다.
• 음성 및 시각 스트림를 위한 모달 전용 컨볼루션 블록을 갖춘 공유 인코더-디코더 아키텍처를 사용한다.
• 각 계층에서 유연하게 정렬하고 조합하는 학습 가능한 융합 모듈을 적용한다.
• 모달 전용 특징을 디코딩 경로에 통합하여 향상된 음성 신호를 복원한다.
• 음성 품질과 지능성 최적화를 위한 손실 함수를 사용해 모델을 종단 간으로 훈련시킨다.
• 잔차 연결 및 스킵 연결을 활용해 계층 간 세밀한 시간 특징을 유지한다.

실험 결과

연구 질문

• RQ1 음성 전용 방법과 비교해 음성과 시각적 특징의 다층 융합이 음성 향상 성능을 향상시킬 수 있는가?
• RQ2 융합 모듈을 통한 모달 간 정렬 학습이 저 SNR 조건에서 음성 품질에 어떤 영향을 미치는가?
• RQ3 시각적 정보가 소음 환경에서 지능성과 주관적 품질 향상에 어느 정도 기여하는가?
• RQ4 계층별 융합이 PESQ 및 기타 객관적 음성 품질 지표에 어떤 영향을 미치는가?
• RQ5 특히 -15 dB와 같은 도전적인 SNR 수준에서 모델의 성능은 어떠한가?

주요 결과

• MFFCN 모델은 테스트 세트에서 소음 수준에 따라 음성 전용 모델 대비 상대적 향상도 6%에서 24%까지 달성한다.
• -15 dB SNR에서 PESQ 점수는 음성 전용 기준 1.21에서 2.06으로 상승하여 주관적 품질 향상이 뚜렷하게 나타난다.
• 제안된 다층 융합 전략은 단순한 특징 연결보다 동적 정렬을 학습함으로써 우수한 성능을 내며, 더 나은 성능을 달성한다.
• 모델은 다양한 소음 조건에서 뛰어난 성능을 보이며, 음성 지능성 향상이 일관되게 유지된다.
• 시각적 특징의 통합은 특히 고소음 환경에서 더 안정적이고 정확한 음성 복원을 가능하게 한다.
• 종단 간 훈련 프레임워크는 보완적인 음성-시각적 단서를 효과적으로 활용해 향상된 음성 출력을 학습하는 데 성공했다.