[논문 리뷰] Deep Learning Based Phase Reconstruction for Speaker Separation: A Trigonometric Perspective

Zhong-Qiu Wang, Ke Tan외 1명|arXiv (Cornell University)|2018. 11. 22.

Speech and Audio Processing참고 문헌 32인용 수 8

한 줄 요약

이 논문은 STFT 도메인에서 심층학습 기반 단음성 화자 분리에 있어 단일 주파수 성분의 위상 재구성에 삼각법적 접근을 제안한다. 기하학적 제약 조건과 위상 차이 관계를 활용함으로써, 각 시간-주파수 단위당 후보 위상을 둘로 줄이고, 반복적 재구성, 군 지연 추정, 위상 부호 예측을 통해 정확한 위상을 선택한다. 이로 인해 WSJ0-2mix 및 3mix 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This study investigates phase reconstruction for deep learning based monaural talker-independent speaker separation in the short-time Fourier transform (STFT) domain. The key observation is that, for a mixture of two sources, with their magnitudes accurately estimated and under a geometric constraint, the absolute phase difference between each source and the mixture can be uniquely determined; in addition, the source phases at each time-frequency (T-F) unit can be narrowed down to only two candidates. To pick the right candidate, we propose three algorithms based on iterative phase reconstruction, group delay estimation, and phase-difference sign prediction. State-of-the-art results are obtained on the publicly available wsj0-2mix and 3mix corpus.

연구 동기 및 목표

• 매질 스펙트럼은 추정되지만 위상은 모호한 단일 음성 화자 분리 문제에서 위상 재구성의 과제를 해결하기 위해.
• 원천 신호와 혼합 신호 간의 기하학적 및 삼각법적 관계를 활용하여 원천 위상 추정의 모호성을 해소하기 위해.
• 추가 학습 데이터나 명시적 위상 모델링 없이도 음성 분리 품질을 향상시키는 위상 재구성 프레임워크를 개발하기 위해.
• 단순히 매질 추정치와 위상 재구성만을 사용하여 WSJ0-2mix 및 3mix와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 STFT 도메인에서 기하학적 제약 조건을 활용하여, 정확한 매질 추정치가 주어지면 각 원천과 혼합 신호 간의 절대 위상 차이가 유일하게 결정됨을 보여준다.
• 혼합 모델에서 유도된 삼각항등식을 활용함으로써, 각 시간-주파수 단위당 가능한 위상 후보 수를 둘로 줄인다.
• 세 가지 알고리즘을 제안한다: 매질 및 위상 제약 조건을 이용한 반복적 위상 재구성, 위상 선택을 안내하기 위한 군 지연 추정, 딥러닝을 통한 위상 차이 부호 예측.
• 이 방법은 전적으로 STFT 도메인에서 작동하며, 분리 네트워크의 종단 간 학습이 필요 없어, 기존의 매질 기반 모델에 즉시 통합할 수 있다.
• 위상 재구성은 분리 후 처리 단계에서 수행되며, 유도된 기하학적 제약 조건과 추정된 매질 값만을 사용하여 위상 모호성을 해소한다.
• 이 방법은 WSJ0-2mix 및 3mix 데이터셋에서 평가되었으며, 이전의 위상 재구성 기법보다 뛰어난 강건성과 성능 향상을 입증했다.

실험 결과

연구 질문

• RQ1 STFT 도메인에서 기하학적 및 삼각법적 제약 조건이 원천과 혼합 신호 간의 위상 차이를 유일하게 결정할 수 있는가?
• RQ2 매질 추정치와 신호 기하학을 활용하여, 시간-주파수 단위당 무한한 후보에서 위상 모호성을 둘로 줄일 수 있는가?
• RQ3 명시적 위상 모델링 없이도 두 후보 중 정확한 위상 후보를 선택하기 위한 효과적인 전략은 무엇인가?
• RQ4 제안된 위상 재구성 기법이 표준 벤치마크에서 음성 분리 품질을 얼마나 향상시키는가?
• RQ5 이 방법은 분리 네트워크 재학습 없이도 또는 위상 감독 없이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 WSJ0-2mix 및 3mix 데이터셋에서 최신 기술 수준의 성능를 달성하며, 기존의 위상 재구성 기법을 능가한다.
• 기하학적 제약 조건을 활용함으로써 각 원천과 혼합 신호 간의 위상 차이가 유일하게 결정되어, 시간-주파수 단위당 후보 수가 둘로 줄어든다.
• 반복적 위상 재구성 알고리즘이 효과적으로 정확한 위상 솔루션으로 수렴하여 청취 품질과 목적적 지표 모두를 크게 향상시킨다.
• 군 지연 추정과 위상 부호 예측이 특히 저 SNR 조건에서 정확도를 더욱 향상시킨다.
• 이 방법은 후처리 단계로 효과적으로 작동하여, 기반의 매질 기반 분리 모델을 수정하지 않고도 분리 성능을 향상시킨다.
• 이 방법은 다양한 화자 수(2인 및 3인 혼합)에 걸쳐 강건성과 일반화 능력을 입증한다.