[논문 리뷰] Real-time binaural speech separation with preserved spatial cues

Cong Han, Yi Luo외 1명|arXiv (Cornell University)|2020. 02. 16.

Speech and Audio Processing참고 문헌 20인용 수 4

한 줄 요약

이 논문은 병렬 인코더와 마스크-합산 기법을 사용하여 이앙 시간 차이(ITD)와 이앙 수준 차이(ILD)를 유지하는 실시간, 엔드 투 엔드 다중 입력-다중 출력(MIMO) 시간 도메인 음성 분리 네트워크(MIMO TasNet)를 제안한다. 이 방법은 다양한 음향 조건, 특히 소음과 리버버버션 환경에서도 신호 품질 향상과 공간 쌍용 유지 측면에서 뚜렷한 향상을 이룩하며, 고해상도, 저지연의 바이나룰 분리를 실현한다.

ABSTRACT

Deep learning speech separation algorithms have achieved great success in improving the quality and intelligibility of separated speech from mixed audio. Most previous methods focused on generating a single-channel output for each of the target speakers, hence discarding the spatial cues needed for the localization of sound sources in space. However, preserving the spatial information is important in many applications that aim to accurately render the acoustic scene such as in hearing aids and augmented reality (AR). Here, we propose a speech separation algorithm that preserves the interaural cues of separated sound sources and can be implemented with low latency and high fidelity, therefore enabling a real-time modification of the acoustic scene. Based on the time-domain audio separation network (TasNet), a single-channel time-domain speech separation system that can be implemented in real-time, we propose a multi-input-multi-output (MIMO) end-to-end extension of TasNet that takes binaural mixed audio as input and simultaneously separates target speakers in both channels. Experimental results show that the proposed end-to-end MIMO system is able to significantly improve the separation performance and keep the perceived location of the modified sources intact in various acoustic scenes.

연구 동기 및 목표

• 소음원 위치 파악에 필수적인 공간 쌍용 정보를 손실하는 단일 채널 음성 분리 방법의 한계를 해결하기 위해.
• 이앙 시간 차이(ITD)와 이앙 수준 차이(ILD)를 유지하는 실시간, 엔드 투 엔드 바이나룰 분리 시스템을 개발하기 위해.
• 청취자에 관계없이 저지연의 음향 환경 수정을 가능하게 하여 청각 보조기기 및 증강현실(AR) 등의 애플리케이션을 위해.
• 노이즈 및 리버버버션 환경을 포함한 도전적인 조건에서 MIMO TasNet의 성능을 평가하기 위해.

제안 방법

• 바이나룰 혼합 신호를 직접 처리할 수 있도록 시간 도메인 음성 분리 네트워크(TasNet)를 다중 입력-다중 출력(MIMO) 프레임워크로 확장한다.
• 좌우 마이크로폰 신호에서 동시에 교차 채널 특징을 추출하기 위해 병렬 인코더를 활용한다.
• 양 채널의 인코더 출력을 연결하여 공유 마스크 추정 네트워크를 통과시켜 공간적 및 스펙트럼 마스크를 생성한다.
• 각 채널을 개별적으로 처리하기 위해 마스크-합산 기법을 적용하여 공동 스펙트럼 및 공간 필터링을 수행한다.
• 마스킹된 인코더 출력에서 바이나룰 분리된 음성 신호를 복원하기 위해 선형 디코더를 사용한다.
• 일부 변형에서는 공간 쌍용 정보(IPD, ILD)를 입력 임bedding으로 통합하여 쌍용 유지 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 MIMO 음성 분리 시스템이 실시간 성능을 확보하면서도 이앙 쌍용(ITD 및 ILD)을 유지할 수 있는가?
• RQ2 신호 품질과 공간 쌍용 유지 측면에서 MIMO TasNet은 단일 채널 TasNet 및 기타 MIMO 변종보다 어떻게 비교되는가?
• RQ3 다양한 화자 각도 및 환경 조건에서 제안된 방법이 공간 위치 파악 정확도를 어느 정도 유지하는가?
• RQ4 추가 노이즈 및 실내 리버버버션과 같은 악조건에서 시스템 성능은 어떻게 나타나는가?

주요 결과

• 병렬 인코더와 마스크-합산 기법을 적용한 MIMO TasNet은 리버버버션 환경에서 가장 높은 분리 품질(SNR 향상 9.4 dB)과 가장 낮은 ITD 오차(5.9 μs)를 기록했다.
• 최소 지연 시간이 5 ms 미만으로 확보되어 청취기기 등 실시간 구현에 적합했다.
• 모든 화자 각도에서 단일 채널 TasNet 기준 대비 ITD 오차는 70% 감소하고, ILD 오차는 60% 감소시켰다.
• 노이즈 조건에서는 병렬 인코더를 갖춘 MIMO TasNet이 모든 다른 변종보다 뛰어난 성능을 보였으며, 모든 노이즈 수준에서 뛰어난 신호 품질과 공간 쌍용 유지 성능을 유지를 하였다.
• SNR 향상과 ITD/ILD 오차 감소 간 상관관계는 뚜렷했으며, 각각 상관계수 r = -0.77 및 r = -0.85로, 더 나은 분리 성능이 공간 쌍용 정밀도 향상과 관련이 있음을 확인하였다.
• 세 명의 화자 혼합 상황에서도 MIMO TasNet은 유의미한 성능 유지를 보였지만, 저출력 또는 공간적으로 유사한 소스가 잘못 분류되면서 ITD 및 ILD 유지 성능이 저하되었다.