[논문 리뷰] End-to-end Networks for Supervised Single-channel Speech Separation

Shrikant Venkataramani, Paris Smaragdis|arXiv (Cornell University)|2018. 10. 05.

Speech and Audio Processing참고 문헌 24인용 수 9

한 줄 요약

이 논문은 전통적인 STFT 기반 처리를 대체하여 원시 파형에 직접 작용하는 엔드투엔드 딥 러닝 아키텍처를 제안한다. 학습 가능한 마스킹 헤드와 SDR, STOI, SIR, SAR를 조합한 복합 손실 함수를 도입함으로써, 목표 음원 보존과 간섭 제거 측면에서 우수한 분리 성능을 달성하였다. 주관적 테스트 결과, SDR-STOI 및 SIR-SAR 조합이 가장 우수한 청취 성능을 보였다.

ABSTRACT

The performance of single channel source separation algorithms has improved greatly in recent times with the development and deployment of neural networks. However, many such networks continue to operate on the magnitude spectrogram of a mixture, and produce an estimate of source magnitude spectrograms, to perform source separation. In this paper, we interpret these steps as additional neural network layers and propose an end-to-end source separation network that allows us to estimate the separated speech waveform by operating directly on the raw waveform of the mixture. Furthermore, we also propose the use of masking based end-to-end separation networks that jointly optimize the mask and the latent representations of the mixture waveforms. These networks show a significant improvement in separation performance compared to existing architectures in our experiments. To train these end-to-end models, we investigate the use of composite cost functions that are derived from objective evaluation metrics as measured on waveforms. We present subjective listening test results that demonstrate the improvement attained by using masking based end-to-end networks and also reveal insights into the performance of these cost functions for end-to-end source separation.

연구 동기 및 목표

• STFT 기반 프론트엔드를 생략하고 원시 음성 파형에 직접 작용하는 엔드투엔드 신경망을 개발하여 단채널 소스 분리를 위한 목적으로.
• 혼합 파형의 잠재 표현과 마스크 추정을 함께 최적화하여 분리 성능을 향상시키기 위하여.
• SDR, STOI, SIR, SAR와 같은 청취에 관련된 지표에서 유도된 비용 함수를 평가하고 최적화하여 엔드투엔드 훈련을 위한 목적으로.
• 주관적 청취 테스트와 객관적 평가를 통해 복합 손실 함수의 효과성을 검증하기 위하여.

제안 방법

• 기존의 STFT 및 역STFT를 대체하기 위해 원시 파형을 엔드투엔드로 처리하는 학습 가능한 컨볼루션 및 트랜스포지션 컨볼루션 레이어를 도입한다.
• 시간 도메인에서 이진 또는 소프트 마스크를 추정하는 마스킹 기반 아키텍처를 제안하여 마스크와 잠재 표현을 함께 최적화할 수 있도록 한다.
• SDR, STOI, SIR, SAR 지표를 조합한 복합 비용 함수를 설계하며, 최적화의 균형을 위해 단위화된 스케일을 적용한다.
• 파형 재구성 품질 향상을 위해 이러한 청취 기반 손실 함수를 사용하여 백프로파게이션을 통해 네트워크를 훈련시킨다.
• 180명의 참가자가 참여한 Amazon Mechanical Turk를 통한 CAQE 청취 테스트를 실시하여 다양한 비용 함수에 따른 주관적 품질을 평가한다.
• SDR, SIR, SAR, STOI와 같은 객관적 지표를 사용하여 주관적 평균 의견 점수와 상관관계를 확인하고 검증한다.

실험 결과

연구 질문

• RQ1 원시 파형에 직접 훈련된 엔드투엔드 신경망이 단채널 음성 분리에서 기존의 STFT 기반 아키텍처를 능가할 수 있는가?
• RQ2 직접 파형 예측과 비교해 마스크 추정과 잠재 표현을 함께 최적화하는 것이 분리 성능을 향상시키는가?
• RQ3 SDR, STOI, SIR, SAR를 기반으로 한 복합 손실 함수 중 어느 것이 주관적 청취 테스트에서 가장 뛰어난 청취 품질을 제공하는가?
• RQ4 다양한 비용 함수는 목표 음원 보존, 간섭 제거, 아티팩트 생성에 어떤 영향을 미치는가?

주요 결과

• 마스킹 기반 엔드투엔드 모델(Full-AET masking)이 주관적 청취 테스트에서 가장 높은 평균 의견 점수를 기록하여 모든 다른 아키텍처를 능가했다.
• SDR와 STOI를 조합한 복합 손실 함수가 목표 소스 보존과 말하기 명료성 향상 측면에서 가장 우수한 성능을 보였다.
• SDR만 최대화하는 것이 모든 테스트 모델과 비용 함수에서 가장 적은 청취적 아티팩트를 생성했다.
• SIR와 SAR를 병합한 손실 함수가 간섭 소스 억제에 가장 효과적이었다.
• 주관적 결과는 MSE 손실 함수 최소화가 말하기 명료성이나 청취 품질 최대화와 일치하지 않음을 확인하였으며, 이는 지표 기반 비용 함수의 필요성을 입증하였다.
• BSS-Eval 및 STOI 지표에서 도출된 복합 비용 함수의 사용은 기존의 MSE 기반 훈련에 비해 상당한 성능 향상을 이끌어냈다.