[논문 리뷰] Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation

Dong Yu, Morten Kolbæk외 2명|arXiv (Cornell University)|2016. 07. 01.

Speech and Audio Processing참고 문헌 26인용 수 7

한 줄 요약

이 논문은 다화자 음성 분리에서 오랫동안 지속된 레이블 순열 문제를 해결하기 위해 직접 분리 오차를 최소화하는 새로운 딥러닝 기준인 순열 불변 훈련(PIT)을 소개한다. 이는 훈련 중에 최적의 화자-대상 할당을 찾음으로써 이루어지며, 화자 독립적 다화자 음성 분리에서 성능을 향상시킨다. PIT는 새로운 화자와 언어로의 일반화를 가능하게 하여, WSJ0 및 덴마크 혼합 음성 데이터셋에서 NMF, CASA, DPCL를 능가하며 SDR 향상 효과를 보였다.

ABSTRACT

We propose a novel deep learning model, which supports permutation invariant training (PIT), for speaker independent multi-talker speech separation, commonly known as the cocktail-party problem. Different from most of the prior arts that treat speech separation as a multi-class regression problem and the deep clustering technique that considers it a segmentation (or clustering) problem, our model optimizes for the separation regression error, ignoring the order of mixing sources. This strategy cleverly solves the long-lasting label permutation problem that has prevented progress on deep learning based techniques for speech separation. Experiments on the equal-energy mixing setup of a Danish corpus confirms the effectiveness of PIT. We believe improvements built upon PIT can eventually solve the cocktail-party problem and enable real-world adoption of, e.g., automatic meeting transcription and multi-party human-computer interaction, where overlapping speech is common.

연구 동기 및 목표

• 딥러닝 기반 다화자 음성 분리에서 지속적으로 발생하는 레이블 순열 문제를 해결하기 위해.
• 다중 클래스 회귀나 클러스터링 시각에 의존하지 않고, 분리 오차를 직접 최적화하는 훈련 기준을 개발하기 위해.
• 화자 및 언어에 관계없이 음향적 특징을 학습함으로써, 새로운 화자와 언어로의 일반화를 가능하게 하기 위해.
• 빔포밍이나 복소수 신호 재구성과 같은 다른 고급 기법과 쉽게 조합할 수 있는 유연하고 모듈러한 훈련 프레임워크를 만들기 위해.

제안 방법

• PIT는 예측된 화자 출력의 모든 가능한 순열을 참조 지표 소스와 비교하여 음성 분리를 직접 오차 최소화 문제로 재정의한다.
• 각 배치에서, 예측된 소스의 모든 가능한 순열에 대해 분리 오차를 계산하고, 가장 낮은 오차를 가진 순열을 선택하여 손실을 계산한다.
• 손실는 네트워크를 통해 역전파되어, 직접적인 화자 할당을 암묵적으로 학습하는 엔드 투 엔드 훈련이 가능해진다.
• 이 방법은 DNN 및 CNN과 같은 다양한 딥 레이어 아키텍처와 호환되며, 다중 채널 및 복소스펙트럼 설정으로도 확장 가능하다.
• PIT는 추론 시 화자 레이블이 필요로 하지 않기 때문에, 실생활의 코ctail party 시나리오에 적합하다.
• 화자 추적, 빔포밍, 또는 복소수 신호 재구성과 결합하여 성능을 추가로 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 훈련 기준을 설계하여, 화자 독립적 다화자 음성 분리에서 직접 분리 오차를 최소화할 수 있는가?
• RQ2 PIT는 NMF, CASA, DPCL와 같은 기존 방법과 비교해 볼 때 성능 및 새로운 화자와 언어로의 일반화 능력에서 어떤가?
• RQ3 기존에 깊은 학습 기반 음성 분리에서 진전을 저지하던 레이블 순열 문제를 PIT는 어느 정도 줄일 수 있는가?
• RQ4 빔포밍이나 복소스펙트럼 재구성과 같은 다른 고급 기법과 PIT를 효과적으로 조합할 수 있는가?
• RQ5 PIT는 인간 청각 인지와 유사하게 화자 및 언어에 관계없이 음향적 특징을 학습할 수 있는가?

주요 결과

• PIT는 WSJ0 및 덴마크 혼합 음성 분리 작업에서 NMF, CASA, DPCL를 모두 능가하며, 상당한 SDR 향상을 달성했다.
• WSJ0 데이터셋에서, 31×5 출력 윈도우를 가진 PIT-DNN는 최적의 할당 조건에서 9.29 dB의 SDR 향상을 기록했으며, 일부 설정에서 IRM 오라클를 초월했다.
• PIT는 새로운 화자와 언어로의 일반화에 뛰어난 성능을 보였다: 덴마크 데이터셋에서 영어를 훈련하지 않았음에도 불구하고, 영어 WSJ0 데이터에서 우수한 성능을 기록했다.
• 최적의 할당과 기본 할당 간의 성능 격차는 동성 케이스와 작은 출력 윈도우 크기에서 가장 크며, 이는 화자 추적 기법으로 향상 가능성을 시사한다.
• CNN은 항상 DNN보다 우수한 성능를 보였지만, 출력 윈도우 크기가 작아지면 성능 향상 폭이 줄어들어, 아키텍처 및 하이퍼파라미터 민감도를 보여준다.
• PIT는 엔드 투 엔드 훈련을 가능하게 하며, 세 명의 화자 분리로 확장 가능하고, 빔포밍이나 복소스펙트럼 재구성과 조합하여 추가적인 성능 향상을 이끌 수 있다.