[논문 리뷰] A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings

Puyuan Peng, Herman Kamper외 1명|arXiv (Cornell University)|2020. 12. 03.

Speech Recognition and Synthesis참고 문헌 40인용 수 8

한 줄 요약

이 논문은 변동 길이의 음성 세그먼트에서 번역된 데이터 없이 고정된 차원의 음성 어휘 임베딩을 학습하는 자기지도 학습 생성 모델인 최대 샘플링 대응 변분 오토에인셔(MCVAE)를 제안한다. 여러 잠재 표현을 샘플링하고 새로운 손실을 통해 대응 관계를 강제함으로써 MCVAE는 이전의 비지도 및 준지도 모델을 능가하며, 영어 Buckeye 코퍼스에서 동적 시간 왜곡(DTW)을 능가하는 등, 자원이 없는 설정과 자원이 적은 설정 모두에서 어휘 식별 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a new unsupervised model for mapping a variable-duration speech segment to a fixed-dimensional representation. The resulting acoustic word embeddings can form the basis of search, discovery, and indexing systems for low- and zero-resource languages. Our model, which we refer to as a maximal sampling correspondence variational autoencoder (MCVAE), is a recurrent neural network (RNN) trained with a novel self-supervised correspondence loss that encourages consistency between embeddings of different instances of the same word. Our training scheme improves on previous correspondence training approaches through the use and comparison of multiple samples from the approximate posterior distribution. In the zero-resource setting, the MCVAE can be trained in an unsupervised way, without any ground-truth word pairs, by using the word-like segments discovered via an unsupervised term discovery system. In both this setting and a semi-supervised low-resource setting (with a limited set of ground-truth word pairs), the MCVAE outperforms previous state-of-the-art models, such as Siamese-, CAE- and VAE-based RNNs.

연구 동기 및 목표

• 번역된 데이터 없이 변동 길이의 음성 세그먼트에서 고정된 차원의 음성 어휘 임베딩을 학습하는 강력한 비지도 방법을 개발한다.
• 잠재 분포의 다중 샘플링을 활용해 기존 대응 기반 모델을 개선함으로써 훈련의 안정성과 임베딩 일관성을 향상시킨다.
• 비지도 용어 발견에서 유도된 어휘 유사 세그먼트만 제공되는 자원이 적거나 전혀 없는 언어 환경에서 효과적인 학습을 가능하게 한다.
• 비지도 및 준지도 설정에서 성능을 평가하고 SiameseRNN, CAE-RNN, VAE 기반 접근법과 같은 최신 기술 수준의 모델들과 비교한다.
• 생성 모델링에 대응 손실를 적용할 경우, 분류 기반 및 오토에인셔 기반 베이스라인을 능가할 수 있으며, 표준 베이스라인인 DTW를 초월할 수 있음을 입증한다.

제안 방법

• MCVAE는 음성 세그먼트에서 고정된 차원의 잠재 임베딩으로의 확률적 매핑을 학습하는 순환 신경망 기반 변분 오토에인셔이다.
• 다양한 입력 세그먼트에서 재구성된 동일한 단어 유형에 대해 유사한 잠재 표현을 갖도록 유도하는 새로운 자기지도 학습 대응 손실를 사용한다.
• 기존 대응 학습 방식을 개선하기 위해 근사 사후 분포로부터 다수의 샘플을 추출하고, 이를 비교함으로써 일관성을 강제한다.
• 비지도 설정에서는 지도된 어긋남이 없는 비지도 용어 발견(UTD) 시스템에서 파생된 어휘 쌍을 사용하여 기준 대응이 필요 없도록 한다.
• 준지도 설정에서는 제한된 지도된 어휘 쌍을 사용해 모델을 미세 조정함으로써 데이터 효율성과 데이터 분포에 대한 강건성을 분석할 수 있다.
• 훈련 목표는 재구성 손실과 동일한 단어 인스턴스 간 임베딩 간 거리 최소화를 목표로 하는 대응 손실를 조합한다.

실험 결과

연구 질문

• RQ1 다중 사후 샘플링을 갖는 생성 모델은 단일 샘플 기반 베이스라인 대비 비지도 음성 어휘 임베딩의 일관성과 품질을 향상시킬 수 있는가?
• RQ2 제안된 대응 손실는 자원이 없는 설정에서 기존 오토에인셔, VAE, Siamese 기반 모델 대비 어휘 식별 작업에서 더 높은 성능을 내는가?
• RQ3 제한된 지도된 어휘 쌍이 있는 준지도 설정에서 MCVAE는 어떻게 성능을 내며, 데이터 효율성과 데이터 분포에 대한 강건성 측면에서 SiameseRNN과 같은 분류 기반 모델과 어떻게 비교되는가?
• RQ4 번역된 데이터 없이도 비지도 음성 어휘 임베딩 모델이 기존의 시퀀스 정렬 방법인 DTW를 능가할 수 있는가?
• RQ5 자원이 적은 상황에서 다양한 훈련 데이터 분포(예: 균형 잡힌 대비 무작위 쌍)에 따라 모델 성능은 어떻게 변화하는가?

주요 결과

• 비지도 설정에서 영어 Buckeye 코퍼스에서 MCVAE는 평균 정밀도 37.6%를 기록했으며, 이는 다음으로 좋은 성능을 낸 CAE-RNN 대비 11.3% 상대적 향상이며, 전체 시퀀스를 사용하는 강력한 기준인 DTW를 초월했다.
• Xitsonga 코퍼스에서는 MCVAE가 평균 정밀도 40.2%를 기록했으며, CAE-RNN 대비 37.9% 상대적 향상으로 언어 간 일반화 능력이 뛰어나다는 것을 입증했다.
• 준지도 설정에서 MCVAE는 가장 높은 데이터 효율성을 보였으며, 단 1,000개의 지도된 쌍이 있을 때조차 일관된 성능 향상을 보였고, 균형 잡힌 및 균형이 깨진 데이터 분포 모두에서 강건성을 유지했다.
• 더 큰 배치 크기를 사용한 MCVAE는 영어에서 39.5%, Xitsonga에서 44.4%로 성능을 추가로 향상시켜 스케일링 가능성과 훈련 설정에 대한 민감도를 보였다.
• SiameseRNN은 비지도 설정에서 성능이 열악한 편이었는데, 이는 고품질의 훈련 쌍에 의존하기 때문일 것이며, 반면 MCVAE는 UTD에서 발견한 약한 지도 정보를 바탕으로도 효과적으로 기능했다.
• MCVAE는 Buckeye 코퍼스에서 DTW를 능가한 최초의 비지도 AWE 모델이었으며, 자원이 없는 음성 표현 학습 분야에서 중요한 도약을 이룬다.