[논문 리뷰] Monaural Audio Speaker Separation with Source Contrastive Estimation

Cory Stephenson, Patrick Callier외 2명|arXiv (Cornell University)|2017. 05. 12.

Speech and Audio Processing참고 문헌 12인용 수 4

한 줄 요약

이 논문은 깊이 있는 양방향 LSTM를 사용하여 말하는 사람의 특징을 대비 벡터 공간에 통합하는 원천 대비 추정(SCE)을 제안한다. 대비 손실을 최적화함으로써 유사한 샘플은 가까이, 다른 샘플은 멀리 떨어지도록 임베딩을 최적화함으로써(예를 들어 NLP에서의 음성 샘플링과 유사하게), 이는 집합 내 혼합물에서 7.69 dB, 집합 외 혼합물에서 7.14 dB의 SDR 향상을 달성하며, 이는 이전의 딥러닝 기반 기준 대비 45% 빠른 학습 속도를 제공한다.

ABSTRACT

We propose an algorithm to separate simultaneously speaking persons from each other, the "cocktail party problem", using a single microphone. Our approach involves a deep recurrent neural networks regression to a vector space that is descriptive of independent speakers. Such a vector space can embed empirically determined speaker characteristics and is optimized by distinguishing between speaker masks. We call this technique source-contrastive estimation. The methodology is inspired by negative sampling, which has seen success in natural language processing, where an embedding is learned by correlating and de-correlating a given input vector with output weights. Although the matrix determined by the output weights is dependent on a set of known speakers, we only use the input vectors during inference. Doing so will ensure that source separation is explicitly speaker-independent. Our approach is similar to recent deep neural network clustering and permutation-invariant training research; we use weighted spectral features and masks to augment individual speaker frequencies while filtering out other speakers. We avoid, however, the severe computational burden of other approaches with our technique. Furthermore, by training a vector space rather than combinations of different speakers or differences thereof, we avoid the so-called permutation problem during training. Our algorithm offers an intuitive, computationally efficient response to the cocktail party problem, and most importantly boasts better empirical performance than other current techniques.

연구 동기 및 목표

• 공간적 및 시간적 신호가 부족한 단일 마이크로의 단일 음성에서 칵테일 파티 문제를 해결한다.
• 학습 중 말하는 사람의 순서에 의존하지 않도록 하여 말하기 분리 문제의 순서 뒤바꿈 문제를 해결한다.
• 재학습 없이도 새로운 말하는 사람에 대해 일반화 가능한 말하는 사람에 독립적인 임베딩 공간을 개발한다.
• 순서 불변 학습(PIT) 및 딥 클러스터링에 비해 성능을 향상시키면서도 계산 비용을 줄인다.
• 특히 새로운 집합 외의 말하는 사람을 포함한 다양한 말하는 사람 조합에 대해 견고한 겹침 음성 분리를 가능하게 한다.

제안 방법

• 시간-주파수 특징을 고차원 임베딩 공간으로 매핑하는 양방향 LSTM를 학습하고, 이를 원천 대비 추정(SCE)을 통해 최적화한다.
• 동일한 말하는 사람의 임베딩은 가까이, 다른 말하는 사람의 임베딩은 멀리 떨어지도록 하는 대비 손실 함수를 적용한다.
• 음성 샘플링에 기반한 전략을 활용: 각 타겟 말하는 사람의 임베딩에 대해 배치 내 다른 말하는 사람의 임베딩과의 유사도를 최소화한다.
• 특징의 가중치를 부여하고 마스크를 사용하여 말하는 사람에 특화된 주파수 성분을 향상시킨다.
• 배포 시에만 학습된 임베딩 가중치를 사용함으로써 추론 과정에서 말하는 사람의 신원을 분리한다. 이는 말하는 사람에 독립성을 보장한다.
• 말하는 사람 쌍의 순서를 학습에 사용하지 않음으로써 순서 뒤바꿈 문제를 피한다. 대신 대비 손실을 통해 모델이 내재된 말하는 사람 특징을 학습한다.

실험 결과

연구 질문

• RQ1 대비 학습 접근법이 기존의 딥 클러스터링 및 PIT 기반 방법을 초월해 단일 마이크로의 말하기 분리 성능을 향상시킬 수 있는가?
• RQ2 원천 대비 추정을 통해 말하는 사람에 독립적인 임베딩 공간을 학습하면, 집합 외의 말하는 사람에 대해 더 나은 일반화 성능를 달성할 수 있는가?
• RQ3 대비 손실 함수가 순서 불변 학습 또는 클러스터링 기반 방법에 비해 계산 오버헤드를 줄일 수 있는가?
• RQ4 제안된 방법이 집합 내 및 집합 외 말하는 사람 혼합물에서 SDR 향상 측면에서 기준 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 두 명의 말하는 사람만으로 학습된 모델이 세 명의 말하는 사람 혼합물에서도 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 SCE 모델은 집합 내 혼합물에서 7.69 dB의 SDR 향상을 달성하여, 딥 클러스터링(7.17 dB)과 PIT-S-CNN(5.69 dB)을 초월한다.
• 집합 외 말하는 사람 혼합물에서는 7.14 dB의 SDR 향상을 기록하여, 딥 클러스터링(6.66 dB)과 PIT-S-CNN(5.58 dB)을 모두 앞서며 성능을 뛰어나게 한다.
• 세 명의 말하는 사람 혼합물에서는 집합 외 조합에서 4.37 dB의 SDR 향상을 달성하여, 두 명의 말하는 사람만으로 학습된 후에도 강력한 일반화 능력을 보여준다.
• 딥 클러스터링 대비 55% 빠른 학습 시간, PIT-S-CNN 대비 46% 빠른 학습 시간을 기록하며, Titan X GPU에서 배치 추론 시간은 0.21초이다.
• 남성-남성 및 여성-여성 혼합물 모두에서 일관된 성능을 유지하며, 남성-남성 혼합물에서는 5.48 dB, 여성-여성 혼합물에서는 5.33 dB의 SDR를 기록한다.
• 낮은 차원의 투영도를 통해 대비 손실 함수가 벡터 공간에서 말하는 사람의 임베딩을 효과적으로 분리하고 있음을 확인할 수 있었으며, 각 말하는 사람에 대해 명확한 클러스터링이 관찰되었다.