[논문 리뷰] A Hierarchical Subspace Model for Language-Attuned Acoustic Unit Discovery

Bolaji Yusuf, Lucas Ondel외 3명|arXiv (Cornell University)|2020. 11. 04.

Speech Recognition and Synthesis참고 문헌 33인용 수 5

한 줄 요약

이 논문은 음성 단위 자동 탐지에 대해 비감독 학습을 위한 계층적 부분공간 모델을 제안한다. 이 모델은 음성 데이터가 있는 언어에서 학습한 언어에 관계없는 초부분공간을 전이하여 언어별로 특화된 음소 단위를 학습한다. 저차원 부분공간 내에서 언어와 단위 임베딩을 동시에 추론함으로써, TIMIT, Mboshi, Yoruba에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 클러스터링 품질(NMI)과 분할 정확도(F-score) 측면에서 이전 방법들을 능가한다.

ABSTRACT

In this work, we propose a hierarchical subspace model for acoustic unit discovery. In this approach, we frame the task as one of learning embeddings on a low-dimensional phonetic subspace, and simultaneously specify the subspace itself as an embedding on a hyper-subspace. We train the hyper-subspace on a set of transcribed languages and transfer it to the target language. In the target language, we infer both the language and unit embeddings in an unsupervised manner, and in so doing, we simultaneously learn a subspace of units specific to that language and the units that dwell on it. We conduct our experiments on TIMIT and two low-resource languages: Mboshi and Yoruba. Results show that our model outperforms major acoustic unit discovery techniques, both in terms of clustering quality and segmentation accuracy.

연구 동기 및 목표

• 비감독 음성 단위 탐지 문제를 해결하기 위해, 음성 데이터가 없는 저자원 언어에 적용 가능한 방법을 제안한다.
• 모델의 인덕티브 바이어스에 사전 음소 지식을 통합하여 클러스터링 및 분할 성능을 향상시킨다.
• 언어와 단위 임베딩을 동시에 학습하는 계층적 구조를 통해 음소 부분공간의 언어별 적응을 가능하게 한다.
• 기존의 비계층적 및 신경망 기반 접근법보다 음성 단위 탐지 작업에서 뛰어난 성능을 내도록 한다.

제안 방법

• 모델는 저차원 음소 부분공간에 압축된 음성 단위 파라미터를 가지며, 이 부분공간 자체는 음성 데이터가 있는 언어에서 학습된 초부분공간으로 매개변수화된다.
• 초부분공간는 부분공간 템플릿으로서의 행렬 집합으로 모델링되며, 대상 언어의 부분공간은 이러한 템플릿을 조합하는 데 사용되는 학습된 임베딩 벡터로 구성된다.
• 단위 파라미터는 W·e^u + b에 대해 미분 가능한 함수 f(·)를 적용하여 생성되며, 여기서 e^u는 단위 임베딩, W와 b는 음성 데이터가 있는 언어에서 고정된다.
• 단위 할당에 디리클레 과정 사전확률을 사용하는 베이지안 비모수적 접근법을 채택하여, 알려지지 않은 수의 단위를 탐지할 수 있도록 한다.
• 초부분공간는 여러 음성 데이터가 있는 언어에서 학습되어 대상 언어로 전이되며, 언어와 단위 임베딩은 비감독적으로 함께 추론된다.
• 모델는 부분공간에서 유도된 상태별 파라미터를 가지는 HMM을 사용하여, 학습된 단위가 타당한 음소 단위임을 보장한다.

실험 결과

연구 질문

• RQ1 음성 데이터가 있는 언어에서 얻은 음소 지식을 저자원 대상 언어로 전이함으로써 계층적 부분공간 모델이 음성 단위 탐지 성능을 향상시킬 수 있는가?
• RQ2 공유된 제약 부분공간 내에서 언어와 단위 임베딩을 동시에 학습하는 것이 비계층적 기준 모델보다 더 나은 클러스터링 및 분할 성능을 내는가?
• RQ3 VQ-wav2vec와 ResDAVEnet-VQ와 같은 강력한 신경망 기반 방법과 비교할 때, 제안된 모델은 NMI와 F-score 측면에서 어떤가?
• RQ4 대상 언어에서 부분공간 파라미터를 미세조정하는 것만으로도 충분한가, 아니면 계층적 구조가 상당한 이점을 제공하는가?
• RQ5 명시적인 언어 레이블 없이도 동일 언어의 하위 집합이 음성적으로 유사하게 클러스터링되는가? 이는 효과적인 언어 임베딩 학습 능력을 시사한다.

주요 결과

• H-SHMM 모델은 TIMIT 코퍼스에서 최고의 NMI(40.04 ± 0.51)와 F-score(76.60 ± 0.54)를 기록하여 SHMM 기준 모델 및 모든 신경망 기반 모델을 능가한다.
• Mboshi에서는 H-SHMM이 NMI 41.07 ± 1.09와 F-score 59.15 ± 1.51을 기록하여, SHMM 기준 모델(38.38 ± 0.97 NMI, 59.50 ± 0.78 F-score)보다 뚜렷이 뛰어나다.
• Yoruba에서는 H-SHMM이 NMI 40.06 ± 0.11과 F-score 66.95 ± 0.36를 기록하여, SHMM 기준 모델(38.99 ± 0.08 NMI, 64.46 ± 0.51 F-score)을 초월한다.
• SHMM의 부분공간을 대상 언어에서 미세조정한 모델(SHMM+finetune)은 SHMM 및 H-SHMM보다 성능이 열 劣함을 보여, 계층적 구조가 성능 향상에 필수적임을 시사한다.
• 부분공간 차원을 300으로 늘린 SHMM+300d는 100차원 기준 모델보다 유의미한 향상이 없음을 확인하여, 100D 초부분공간가 충분하고, 계층적 설계가 파rameter 스케일링보다 더 효과적임을 시사한다.
• 언어 임베딩의 시각화 결과, 동일 언어의 하위 집합들이 낮은 내부 언어 변동성으로 수렴함을 확인하여, 명시적 레이블 없이도 의미 있는 언어별 표현을 효과적으로 학습할 수 있음을 확인한다.