[논문 리뷰] Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment

Chao Ma, Dongmei Li외 1명|arXiv (Cornell University)|2020. 04. 14.

Speech and Audio Processing참고 문헌 19인용 수 4

한 줄 요약

이 논문은 소음 환경에서 단일 귀의 다화자 음성 분리 문제를 해결하기 위해 conv-TasNet 기반의 이단계 딥러닝 모델을 제안한다. 이는 확장된 시간 컨볼루션 네트워크를 사용하여 음성 향상과 분리를 순차적으로 수행한다. 또한 표준 SI-SNR보다 우수한 성능을 보이는 개선된 목적 함수인 최적의 SI-SNR(оси-снр)를 도입하여, 이중 단계 아키텍처와 함께 공동 학습할 경우 일단계 기반 모델보다 뛰어난 성능을 달성한다.

ABSTRACT

In daily listening environments, speech is always distorted by background noise, room reverberation and interference speakers. With the developing of deep learning approaches, much progress has been performed on monaural multi-speaker speech separation. Nevertheless, most studies in this area focus on a simple problem setup of laboratory environment, which background noises and room reverberations are not considered. In this paper, we propose a two-stage model based on conv-TasNet to deal with the notable effects of noises and interference speakers separately, where enhancement and separation are conducted sequentially using deep dilated temporal convolutional networks (TCN). In addition, we develop a new objective function named optimal scale-invariant signal-noise ratio (OSI-SNR), which are better than original SI-SNR at any circumstances. By jointly training the two-stage model with OSI-SNR, our algorithm outperforms one-stage separation baselines substantially.

연구 동기 및 목표

• 실제 소음 및 반향 환경에서 배경 소음과 간섭 화자로 인해 성능이 저하되는 상황에서 단일 귀 다화자 음성 분리 문제를 해결하기 위해.
• 기존 방법들이 실제 환경의 열악한 조건을 고려하지 않고 청소된 실험실 기반 조건에만 집중하는 한계를 극복하기 위해.
• 음성 향상과 화자 분리를 별도로 처리하는 이단계 프레임워크를 설계하여 더 높은 내성성 확보를 위해.
• 모든 조건에서 표준 SI-SNR보다 일관되게 뛰어난 성능을 보이는 새로운 목적 함수인 최적의 SI-SNR(оси-снр)를 개발하기 위해.
• 이단계 모델을 OSI-SNR와 함께 공동 학습할 경우, 일단계 기반 모델 대비 뚜렷한 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 모델는 이단계 아키텍처를 활용한다: 먼저 TCN 기반의 향상 모듈을 통해 혼합된 음성을 향상시키고, 이후 분리 모듈을 적용하여 개별 화자를 분리한다.
• 양측 모두 장거리 시간적 의존성을 효율적인 수용장(수용영역)을 통해 포착하기 위해 확장된 시간 컨볼루션 네트워크(TCNs)를 사용한다.
• 제안된 OSI-SNR 손실 함수는 SI-SNR의 더 견고한 변종으로, 다양한 신호 대 잡음비(SNR)와 간섭 수준에서도 성능을 유지하도록 최적화되었다.
• OSI-SNR는 신호 진폭 스케일링에 불변성을 가지며, 다양한 소음 조건에서 안정적인 기울기를 제공하도록 설계되었다.
• 전체 시스템은 OSI-SNR 목적 함수를 사용하여 양측의 향상 및 분리 단계를 동시에 최적화하기 위해 종단 간(end-to-end) 공동 학습된다.
• 아키텍처는 conv-TasNet을 영감으로 삼았지만, 소음 제거와 화자 분리의 순차적 처리를 처리하도록 수정되었다.

실험 결과

연구 질문

• RQ1 일단계 모델 대비 이단계 딥러닝 프레임워크가 소음 및 반향 환경에서 단일 귀 다화자 음성 분리 성능을 향상시킬 수 있는가?
• RQ2 제안된 OSI-SNR 손실 함수가 다양한 소음 조건에서 표준 SI-SNR보다 더 안정적이고 뛰어난 최적화를 제공하는가?
• RQ3 향상 및 분리의 순차적 처리가 실제 환경에서 종단 간 분리와 비교해 더 높은 성능을 낼 수 있는가?
• RQ4 OSI-SNR와 함께 이단계 모델을 공동 학습할 경우, 음성 품질과 분리 정확도 측면에서 일단계 기반 모델과 비교해 어떻게 성능이 뛰어나지는가?
• RQ5 표준 SI-SNR가 실패하는 극한의 소음 및 간섭 수준에서도 OSI-SNR는 견고하고 효과적인가?

주요 결과

• OSI-SNR를 사용한 이단계 모델은 음성 분리 품질과 소음 내성 측면에서 일단계 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 모든 테스트된 신호 대 잡음비(SNR) 조건에서 OSI-SNR는 표준 SI-SNR보다 뛰어난 성능을 일관되게 달성했다.
• 향상 및 분리의 순차적 처리 방식은 배경 소음과 간섭 화자에 대한 내성성을 향상시켰다.
• 이전 방법이 종종 실패하는 실제 소음 환경에서도 모델은 뛰어난 일반화 능력을 보였다.
• 논문은 제안된 방법이 목표 작업에서 최고 성능을 달성했음을 보고했지만, 요약에서 구체적인 수치적 지표는 제공되지 않았다.
• 이 연구는 INTERSPEECH 2020에서 기각되었지만, 광범위한 개선을 거쳐 APSIPA ASC 2020에 재투고되었으며, 이는 기술적 엄밀성과 잠재적 영향력을 시사한다.