[논문 리뷰] Deep Attention Fusion Feature for Speech Separation with End-to-End Post-filter Method

Cunhang Fan, Jianhua Tao외 4명|arXiv (Cornell University)|2020. 03. 17.

Speech and Audio Processing참고 문헌 45인용 수 5

한 줄 요약

이 논문은 단일 귀 음성 분리에서 잔여 간섭을 줄이기 위해 웨이브폼 입력과 주의 메커니즘을 활용하여 사전 분리된 음성을 향상시키는 엔드 투 엔드 후행 필터(E2EPF)를 제안한다. WSJ0-2mix 데이터셋에서 SI-SNR, SDR, PESQ, STOI 각각 64.1%, 60.2%, 25.6%, 7.5%의 상대적 향상률을 기록하며 최신 기법들을 초월한다.

ABSTRACT

In this paper, we propose an end-to-end post-filter method with deep attention fusion features for monaural speaker-independent speech separation. At first, a time-frequency domain speech separation method is applied as the pre-separation stage. The aim of pre-separation stage is to separate the mixture preliminarily. Although this stage can separate the mixture, it still contains the residual interference. In order to enhance the pre-separated speech and improve the separation performance further, the end-to-end post-filter (E2EPF) with deep attention fusion features is proposed. The E2EPF can make full use of the prior knowledge of the pre-separated speech, which contributes to speech separation. It is a fully convolutional speech separation network and uses the waveform as the input features. Firstly, the 1-D convolutional layer is utilized to extract the deep representation features for the mixture and pre-separated signals in the time domain. Secondly, to pay more attention to the outputs of the pre-separation stage, an attention module is applied to acquire deep attention fusion features, which are extracted by computing the similarity between the mixture and the pre-separated speech. These deep attention fusion features are conducive to reduce the interference and enhance the pre-separated speech. Finally, these features are sent to the post-filter to estimate each target signals. Experimental results on the WSJ0-2mix dataset show that the proposed method outperforms the state-of-the-art speech separation method. Compared with the pre-separation method, our proposed method can acquire 64.1%, 60.2%, 25.6% and 7.5% relative improvements in scale-invariant source-to-noise ratio (SI-SNR), the signal-to-distortion ratio (SDR), the perceptual evaluation of speech quality (PESQ) and the short-time objective intelligibility (STOI) measures, respectively.

연구 동기 및 목표

• 사전 분리된 음성을 사전 지식을 활용하여 향상시켜 단일 귀 음성 분리에서 잔여 간섭을 해결한다.
• 기존 방법들이 별도의 훈련 목표나 비지도 군집화에 의존하여 신호 공간의 분리 품질과 일치하지 않을 수 있는 한계를 극복한다.
• 주목적 기반 특징 병합을 통해 사전 분리된 음성 특징과 혼합 신호를 주의 메커니즘으로 융합하여 음성 분리 성능을 향상시킨다.
• 원시 웨이브폼을 입력으로 사용하여 복원 시 진폭-위상 불일치 문제를 제거하고, 진폭과 위상을 동시에 최적화할 수 있도록 한다.
• 사전 분리와 후행 필터링을 하나의 통합된 모델로 통합한 완전한 엔드 투 엔드 훈련 가능한 프레임워크를 개발한다.

제안 방법

• 타임-주파수 도메인 분리 방법(uPIT+DEF+DL)을 사전 분리 단계로 적용하여 목표 소스의 초도 추정치를 생성한다.
• 엔드 투 엔드 후행 필터(E2EPF)에 원시 웨이브폼을 입력으로 사용하여 복원의 진폭과 위상을 함께 최적화할 수 있도록 한다.
• 혼합 신호와 사전 분리된 신호에서 깊이 있는 시간적 표현을 추출하기 위해 1D 컨볼루션 레이어를 활용한다.
• 혼합 신호와 사전 분리된 특징 간 유사도를 계산하는 학습 가능한 주의 모듈을 도입하여 깊이 있는 주의 병합 특징을 생성한다.
• 주의 병합 특징을 컨텍스트로 활용하여 후행 필터가 개선된 목표 신호를 추정하도록 유도하며, 잔여 간섭을 줄이는 데 집중한다.
• 다양한 손실 함수를 사용해 전체 E2EPF 네트워크를 엔드 투 엔드로 훈련시켜 사전 분리 및 후행 필터링 단계를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 깊이 있는 주의 병합 특징을 갖춘 엔드 투 엔드 후행 필터는 단일 귀 음성 분리에서 잔여 간섭을 상당히 감소시킬 수 있는가?
• RQ2 후행 필터 단계에서 원시 웨이브폼을 입력으로 사용하면 진폭-위상 불일치 문제를 해결하여 성능 향상이 이루어지는가?
• RQ3 혼합 신호와 사전 분리된 특징을 주의 기반으로 융합하는 방식은 기존 후행 필터링 대비 분리 품질을 얼마나 향상시키는가?
• RQ4 기본 벤치마크에서 SI-SNR, SDR, PESQ, STOI 측정치에서 최신 기법들과 비교해 본다면 제안된 방법은 어떤 성능을 보이는가?
• RQ5 사전 분리와 후행 필터링을 하나의 엔드 투 엔드 프레임워크로 통합하면 순차적 또는 별도 처리 방식보다 더 높은 성능을 낼 수 있는가?

주요 결과

• 제안된 E2EPF 방법은 WSJ0-2mix 데이터셋에서 사전 분리 기준선 대비 SI-SNR에서 64.1%의 상대적 향상률을 기록했다.
• 이 방법은 사전 분리 방법 대비 SDR를 60.2% 상대적으로 향상시켜 신호 대 간섭비 향상 정도를 명확히 보여주었다.
• PESQ 점수는 25.6% 상대적으로 향상되어 분리된 음성의 청취 품질 향상이 확인되었다.
• STOI는 7.5% 상대적으로 증가하여 후행 필터링 이후 음성의 이해 가능성 향상이 입증되었다.
• 깊이 있는 주의 병합 특징의 추가로 주의 기반 없이 구현된 E2EPF 대비 성능 향상이 명백하게 나타났으며, 이는 잔여 간섭 억제에 효과적임을 확인한다.
• WSJ0-3mix 데이터셋에서도 비교된 모든 시스템 중 최고 성능을 기록했으며, ∆SI-SNR와 ∆SDR에서 긍정적인 향상률을 보여 다중 소스 환경에서도 뛰어난 견고성을 입증했다.