[논문 리뷰] Deep clustering: Discriminative embeddings for segmentation and separation

John R. Hershey, Zhuo Chen외 2명|arXiv (Cornell University)|2015. 08. 18.

Speech and Audio Processing참고 문헌 19인용 수 7

한 줄 요약

이 논문은 음성 원천 분리에 적합한 분류 독립적 딥러닝 프레임워크인 딥 클러스터링을 제안한다. 이 방법은 이상적인 유사도 행렬의 낮은 랭크 근사를 가능하게 하는 임베딩을 학습함으로써, 단순한 클러스터링을 통해 원천 분할을 복원할 수 있도록 한다. 이는 두 명의 화자 데이터로만 훈련되었음에도 불구하고, 새로운 화자 혼합에서 6 dB의 SDR 향상을 달성한다.

ABSTRACT

We address the problem of acoustic source separation in a deep learning framework we call "deep clustering." Rather than directly estimating signals or masking functions, we train a deep network to produce spectrogram embeddings that are discriminative for partition labels given in training data. Previous deep network approaches provide great advantages in terms of learning power and speed, but previously it has been unclear how to use them to separate signals in a class-independent way. In contrast, spectral clustering approaches are flexible with respect to the classes and number of items to be segmented, but it has been unclear how to leverage the learning power and speed of deep networks. To obtain the best of both worlds, we use an objective function that to train embeddings that yield a low-rank approximation to an ideal pairwise affinity matrix, in a class-independent way. This avoids the high cost of spectral factorization and instead produces compact clusters that are amenable to simple clustering methods. The segmentations are therefore implicitly encoded in the embeddings, and can be "decoded" by clustering. Preliminary experiments show that the proposed method can separate speech: when trained on spectrogram features containing mixtures of two speakers, and tested on mixtures of a held-out set of speakers, it can infer masking functions that improve signal quality by around 6dB. We show that the model can generalize to three-speaker mixtures despite training only on two-speaker mixtures. The framework can be used without class labels, and therefore has the potential to be trained on a diverse set of sound types, and to generalize to novel sources. We hope that future work will lead to segmentation of arbitrary sounds, with extensions to microphone array methods as well as image segmentation and other domains.

연구 동기 및 목표

• 분류 기반 딥러닝 모델이 새로운 또는 신규 소리 원천을 분리하는 데 한계를 가지는 문제를 해결하기 위해, 분류 독립적 원천 분리를 가능하게 하기 위해.
• 딥 네트워크의 학습 능력과 분할 기반 분할을 위한 스펙트럼 클러스터링의 유연성을 결합하기 위해.
• 명시적인 분류 레이블이나 재훈련 없이도 새로운 화자와 임의의 수의 원천에 일반화할 수 있는 프레임워크를 개발하기 위해.
• 암시적인 분할을 인코딩하는 임베딩의 엔드 투 엔드 학습을 가능하게 하여, 단순한 클러스터링을 통한 복원을 허용하기 위해.

제안 방법

• 이deal pairwise affinity 행렬의 재구성 오차를 최소화하도록, 스펙트로그램 임베딩을 생성하는 딥 밴드워드 LSTM 네트워크를 훈련한다.
• 동일한 원천의 임베딩이 서로 가까이 클러스터되도록 하고, 다른 원천의 임베딩은 분리되도록 콘트라스트 성능을 사용한다.
• 계산 비용이 높은 스펙트럼 분해를 피하기 위해 이상적인 유사도 행렬에 낮은 랭크 근사를 적용한다.
• 학습된 임베딩에 k-means 클러스터링을 적용하여 원천 분리를 복원하고, 다수의 원천에 대해 순열 정렬을 수행한다.
• 딥 언폴딩을 통한 미분 가능 클러스터링 목적함수를 활용하여, 임베딩과 클러스터링을 함께 최적화할 수 있도록 한다.
• 계산 비용을 줄이기 위해 국소 커널(예: 가우시안) 대신 외적 기반 유사도 측정법을 사용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 명시적인 분류 레이블 없이도 효과적인 원천 분리를 가능하게 하는 분류적 임베딩을 학습할 수 있는가?
• RQ2 두 명의 화자 혼합 데이터로 훈련된 모델이 재훈련 없이 세 명의 화자 혼합에 일반화될 수 있는가?
• RQ3 제안된 방법은 신호 대 간섭비(SDR) 측면에서 오라클 NMF와 같은 전통적 기준 모델을 능가하는가?
• RQ4 훈련 데이터에 포함되지 않은 새로운 화자에 대해 모델의 일반화 능력은 얼마나 우수한가?
• RQ5 이 프레임워크는 이미지 분할이나 다중 마이크 시스템과 같은 다른 분야로 확장될 수 있는가?

주요 결과

• 제안된 딥 클러스터링 방법은 새로운 화자 혼합에서 신호 대 간섭비(SDR)에 6 dB 향상을 달성하여 오라클 NMF 기준 모델을 능가했다.
• 두 명의 화자 데이터로만 훈련되었음에도 불구하고, 세 명의 화자 혼합에 대해 일반화되었으며, 이는 알려지지 않은 수의 원천에 대한 확장성과 함께 입증되었다.
• 오픈 세트 성능(훈련 데이터에 없는 화자)이 닫힌 세트 성능(훈련 데이터에서 제외된 화자)과 유사하여 강력한 일반화 능력을 보였다.
• 전 청각 클러스터링에서도 우수한 성능를 보였으며, 이는 임베딩이 음고나 톤과 같은 전역적 특징을 잘 캡처하고 있음을 시사한다.
• 활성화 함수의 선택(Logistic 대비 tanh)이 성능에 유의미한 영향을 미쳤으며, 테스트된 설정에서 Logistic 네트워크가 약간 더 뛰어난 성능를 보였다.
• 여성-여성 및 남성-남성 혼합에서 성능이 남성-여성 혼합보다 유의미하게 뛰어났는데, 이는 스펙트럼 대비가 더 뚜렷하기 때문으로 보인다.