[논문 리뷰] Cracking the cocktail party problem by multi-beam deep attractor network

Zhuo Chen, Jinyu Li외 5명|arXiv (Cornell University)|2018. 03. 29.

Speech and Audio Processing참고 문헌 33인용 수 3

한 줄 요약

이 논문은 다중 화자 음성 분리 성능을 햖थ기 위해 먼저 다중채널 입력에 고정된 차별형 beamformer를 적용한 후, 각 beam에 대해 단일채널 잠금형 딥 어트랙터 네트워크를 사용하고, 최적의 beam 선택을 수행하는 다중빔 딥 어트랙터 네트워크(MBDAN)를 제안한다. 이 방법은 4명의 화자(11.5 dB), 3명의 화자(11.76 dB), 2명의 화자(11.02 dB)에 대해 최신 기술(SOTA) 수준의 SDR 향상을 달성하며, 오라클 MVDR beamformer의 성능을 재현한다.

ABSTRACT

While recent progresses in neural network approaches to single-channel speech separation, or more generally the cocktail party problem, achieved significant improvement, their performance for complex mixtures is still not satisfactory. In this work, we propose a novel multi-channel framework for multi-talker separation. In the proposed model, an input multi-channel mixture signal is firstly converted to a set of beamformed signals using fixed beam patterns. For this beamforming, we propose to use differential beamformers as they are more suitable for speech separation. Then each beamformed signal is fed into a single-channel anchored deep attractor network to generate separated signals. And the final separation is acquired by post selecting the separating output for each beams. To evaluate the proposed system, we create a challenging dataset comprising mixtures of 2, 3 or 4 speakers. Our results show that the proposed system largely improves the state of the art in speech separation, achieving 11.5 dB, 11.76 dB and 11.02 dB average signal-to-distortion ratio improvement for 4, 3 and 2 overlapped speaker mixtures, which is comparable to the performance of a minimum variance distortionless response beamformer that uses oracle location, source, and noise information. We also run speech recognition with a clean trained acoustic model on the separated speech, achieving relative word error rate (WER) reduction of 45.76\%, 59.40\% and 62.80\% on fully overlapped speech of 4, 3 and 2 speakers, respectively. With a far talk acoustic model, the WER is further reduced.

연구 동기 및 목표

• 복잡하고 높은 겹침을 보이는 다중 화자 상황, 특히 4명 이상의 화자 존재 시 단일채널 음성 분리 기법의 한계를 해결하기 위해.
• 공간 정보(Beamforming)와 스펙트럼 정보(딥 어트랙터)를 융합하여 분리 성능 향상.
• 변동하는 화자 수를 처리할 수 있고 리버버버션과 노이즈에 강건한, 확장 가능한 엔드 투 엔드 호환 시스템 개발.
• 다중채널 beamforming 이후 단일채널 분리 기법을 적용할 경우 오라클 공간 정보를 사용하는 시스템과 동등하거나 이를 초월하는 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 입력 다중채널 음성 혼합 신호는 고정된 차별형 beamformer를 사용해 다수의 beamformed 신호로 변환되며, 이는 공간적 및 스펙트럼적 불일치에 더 강건하다.
• 각 beamformed 신호는 독립적으로 단일채널 잠금형 딥 어트랙터 네트워크(DAN)에 의해 처리되며, 이는 화자별 임베딩을 학습하여 소스를 분리한다.
• 최종 분리 출력은 후행 처리 과정에서 각 화자에 대해 가장 높은 신호 대 왜곡 비율(SDR)을 가진 beam을 선택함으로써 결정되며, 순열 모호성 문제를 피한다.
• 시스템은 임베딩에 대한 지도 학습 손실과 SDR 기반 beam 선택을 조합하여 훈련함으로써 분리 품질의 엔드 투 엔드 최적화를 가능하게 한다.
• 실제로 도전적인 조건에서 성능 평가하기 위해 2명, 3명, 4명 화자 혼합을 포함한 새로운 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 다중채널 beamforming과 단일채널 딥 어트랙터 네트워크를 융합하면 복잡한 다중 화자 음성 분리 성능을 크게 향상시킬 수 있는가?
• RQ2 제안된 MBDAN 시스템은 오라클 공간 정보를 사용하는 시스템과 비교해 SDR 및 단어 오류율(WER) 측면에서 어떻게 성능를 보이는가?
• RQ3 beamforming 단계는 강하게 겹쳐진 혼합 신호에서 리버버버션과 스펙트럼 마스킹의 영향을 어느 정도 완화하는가?
• RQ4 원천 위치나 청소화이닝 신호를 알지 못하는 조건에서도 제안된 방법이 오라클 beamformer의 성능에 비슷한 성능을 달성할 수 있는가?

주요 결과

• 제안된 MBDAN 시스템은 4명 화자 혼합에서 11.5 dB, 3명 화자에서는 11.76 dB, 2명 화자에서는 11.02 dB의 SDR 향상을 달성하며, 이는 이전의 단일채널 기법들보다 뚜렷이 뛰어난 성능이다.
• 시스템의 성능는 오라클 원천 위치, 노이즈, 음성 정보를 사용하는 최소 분산 왜곡 없는 응답(MVDR) beamformer와 유사한 성능를 보인다.
• 청소화이닝 모델로 훈련된 음성 인식 시스템은 분리 후 4명 화자 혼합에서 62.80%의 상대적 WER 감소, 3명 화자에서는 59.40%, 2명 화자에서는 45.76%의 WER 감소를 기록한다.
• 멀리 떨어진 환경에서의 음성 모델을 사용할 경우, 리버버버션과 노이즈에 더 강건한 성능을 보여 69.51%, 64.19%, 52.53%의 WER 감소를 각각 달성한다.
• 강력한 소스와 약한 소스 간 성능 격차가 4 dB 이내로 유지되어 주로 강력한 화자에 대해 뛰어난 분리 능력을 보인다.
• beamforming 단계 덕분에 스펙트럼 마스킹가 감소하므로, 특히 리버버버션 조건에서 단일채널 딥 어트랙터 네트워크보다 성능이 뚜렷이 뛰어나다.