[논문 리뷰] Improved Audio Embeddings by Adjacency-Based Clustering with Applications in Spoken Term Detection

Sung-Feng Huang, Yi‐Chen Chen외 2명|arXiv (Cornell University)|2018. 11. 07.

Speech Recognition and Synthesis참고 문헌 19인용 수 5

한 줄 요약

이 논문은 라벨이 없는 데이터를 활용하여 인접성 기반 클러스터링과 시아모이드 네트워크 학습을 통해 음성 임베딩을 향상시키는 비지도 학습 방법을 제안한다. 이는 화자 특성과 언어적 콘텐츠를 분리하고 클래스 불균형 문제를 다루며, LibriSpeech에서 클러스터링의 밀도를 높이고 말하는 단어 탐지 성능을 향상시킨다. 이 방법은 k=60일 때 최대 37.00%의 평균 정밀도를 달성한다.

ABSTRACT

Embedding audio signal segments into vectors with fixed dimensionality is attractive because all following processing will be easier and more efficient, for example modeling, classifying or indexing. Audio Word2Vec previously proposed was shown to be able to represent audio segments for spoken words as such vectors carrying information about the phonetic structures of the signal segments. However, each linguistic unit (word, syllable, phoneme in text form) corresponds to unlimited number of audio segments with vector representations inevitably spread over the embedding space, which causes some confusion. It is therefore desired to better cluster the audio embeddings such that those corresponding to the same linguistic unit can be more compactly distributed. In this paper, inspired by Siamese networks, we propose some approaches to achieve the above goal. This includes identifying positive and negative pairs from unlabeled data for Siamese style training, disentangling acoustic factors such as speaker characteristics from the audio embedding, handling unbalanced data distribution, and having the embedding processes learn from the adjacency relationships among data points. All these can be done in an unsupervised way. Improved performance was obtained in preliminary experiments on the LibriSpeech data set, including clustering characteristics analysis and applications of spoken term detection.

연구 동기 및 목표

• 인간 레이블이 없는 저자원 말 언어 응용 분야에서 음성 임베딩 품질을 향상시키기 위해.
• 동일한 언어 단위(예: 단어)의 실현이 벡터 공간에서 더 가까워지도록 음성 임베딩을 더 밀도 있게 클러스터링하기 위해.
• 라벨이 없는 데이터를 기반으로 시아모이드 스타일의 대비 학습을 통해 구분 가능한 음성 표현을 학습하기 위해.
• 음성 임베딩 공간에서 화자 특성과 언어적 콘텐츠를 분리하기 위해.
• 말하는 단어 탐지 작업에서의 불균형한 데이터 분포를 다루기 위해.

제안 방법

• 라벨이 필요 없이 음성 시퀀스 내 인접한 음성 세그먼트에서 양성 및 음성 쌍을 식별하여 시아모이드 네트워크를 훈련한다.
• 근접한 세그먼트의 임베딩을 끌어오고 먼 세그먼트를 밀어내기 위해 대비 손실 함수(식 3)를 적용한다.
• 임베딩 공간에서 화자 관련 요소와 언어적 콘텐츠를 분리하기 위해 탈중력 모듈을 통합한다.
• 정규화된 클러스터 할당 수를 사용한 클러스터링 기반 평가 전략을 통해 임베딩 품질을 평가한다.
• 말하는 단어 탐지에서 쿼리와 문서의 단어 임베딩 간 코사인 유사도를 사용해 문서를 순위 매긴다.
• 동일한 발화문 내 인접한 음성 세그먼트를 양성 쌍으로, 비인접한 세그먼트를 음성 쌍으로 간주하여 자기지도 학습을 수행한다.

실험 결과

연구 질문

• RQ1 비분할 음성 시퀀스에서의 인접 관계를 활용하여 레이블 없이 효과적인 양성 및 음성 쌍을 생성할 수 있는가?
• RQ2 화자 특성을 언어적 콘텐츠에서 분리하면 클러스터링 및 검색 작업에서 음성 임베딩 품질이 향상되는가?
• RQ3 제안된 비지도 방법이 말하는 단어 탐지 정확도에서 기준 음성 임베딩보다 어떻게 비교되는가?
• RQ4 클래스 불균형을 다루는 것이 음성 임베딩의 클러스터링 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법이 저자원 언어 응용 분야에서 기존 비지도 음성 임베딩 기법보다 더 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 테스트된 클러스터 수(n) 전반에서 가장 높은 클러스터링 정확도를 기록했으며, 기준 방법 대비 일관되게 최대 1.22% 향상되었다.
• 제안된 임베딩을 사용한 말하는 단어 탐지 성능은 k=60일 때 37.00%의 평균 정밀도를 달성하여 기준 방법보다 1.22%포인트 높았다.
• k=40일 때 기준 방법 대비 0.97% 향상되어, k가 문서당 평균 발화 수와 일치할 때 최적 성능을 보였다.
• 특성 탈중력화와 시아모이드 학습이 함께 적용되었을 때 성능 향상이 두드러졌으며, 전체 방법(d)가 기준 방법(a)과 탈중력화 전용(b) 버전보다 뛰어났다.
• 성능 향상은 높은 k 값에서 가장 두드러졌는데, 이는 방법이 다수의 단어 실현 간 의미 유사성을 더 잘 포착함을 시사한다.
• 결과는 인접성 기반 클러스터링과 자기지도 시아모이드 학습이 비지도 환경에서 더 밀도 있고 구분 가능한 음성 임베딩을 가능하게 한다는 것을 입증한다.