[논문 리뷰] Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces

Yu-An Chung, Wei‐Hung Weng외 2명|arXiv (Cornell University)|2018. 05. 18.

Speech Recognition and Synthesis참고 문헌 18인용 수 48

한 줄 요약

본 논문은 음성 임베딩 공간과 텍스트 임베딩 공간을 정렬하는 비지도 프레임워크를 제시하여, 교차 모달 감독 없이도 음성 단어 분류 및 번역을 가능하게 하고, 성능은 감독 학습 방법에 근접합니다.

ABSTRACT

Recent research has shown that word embedding spaces learned from text corpora of different languages can be aligned without any parallel data supervision. Inspired by the success in unsupervised cross-lingual word embeddings, in this paper we target learning a cross-modal alignment between the embedding spaces of speech and text learned from corpora of their respective modalities in an unsupervised fashion. The proposed framework learns the individual speech and text embedding spaces, and attempts to align the two spaces via adversarial training, followed by a refinement procedure. We show how our framework could be used to perform spoken word classification and translation, and the results on these two tasks demonstrate that the performance of our unsupervised alignment approach is comparable to its supervised counterpart. Our framework is especially useful for developing automatic speech recognition (ASR) and speech-to-text translation systems for low- or zero-resource languages, which have little parallel audio-text data for training modern supervised ASR and speech-to-text translation models, but account for the majority of the languages spoken across the world.

연구 동기 및 목표

• 교차 모달 감독 없이 음성과 텍스트로부터 직접 의미 표현을 학습하도록 동기를 부여한다.
• 두 모달리티별 임베딩 공간이 적대적 학습과 정제를 통해 정렬될 수 있음을 보여준다.
• 학습된 교차 모달 정렬을 사용하여 음성 단어 분류 및 번역을 입증한다.
• 여러 코퍼스에 걸쳐 비지도 정렬이 감독된 방법과 어떻게 비교되는지 평가한다.

제안 방법

• 각각 Speech2Vec와 Word2Vec를 사용하여 개별 음성 임베딩 공간과 텍스트 임베딩 공간을 학습한다.
• 공간 간의 초기 선형 매핑 W를 학습하기 위해 도메인-적대 학습을 적용한다.
• 상호 최근접 이웃 및 Cross-DDomain Similarity Local Scaling을 통해 합성 이중언어 사전을 구성하여 매핑을 정제한다.
• 교차 모달 데이터 없이 두 공간을 정렬하기 위해 재구성 유사 목적을 최소화하도록 W를 최적화한다.
• 가장 가까운 텍스트 매치를 사용한 음성 단어 분류 및 번역 과제로 정렬를 평가한다.

실험 결과

연구 질문

• RQ1 적대적 학습으로 교차 모달 감독 없이도 음성 및 텍스트 임베딩 공간을 정렬할 수 있는가?
• RQ2 합성 사전을 이용한 정제 단계가 초기 적대 매핑보다 교차 모달 정렬을 향상시키는가?
• RQ3 다양한 코퍼스에서 비지도 교차 모달 정렬이 음성 단어 분류 및 번역에서 감독 베이스라인과 비교해 어떤 성능을 보이는가?

주요 결과

• 비지도 정렬 접근법은 병렬 사전(A 대 A*)을 사용하는 감독형 상대 방법과 비교해 경쟁력 있는 결과를 산출한다.
• Speech2Vec에 대한 비지도 분할 및 클러스터링 사용은 단어-완전 분할보다 점진적으로 성능이 떨어지며, 분할 품질의 중요성을 강조한다.
• 정렬 성능은 감독 수준이 낮아질수록 저하되지만, 영어, 프랑스어, 독일어 데이터 세트 및 다언어 설정에서도 사용 가능하다.
• 단어의 동의어 탐색은 모델이 정확한 단어 아이덴티티를 넘어 의미 관계를 포착함을 나타내며, 강력한 의미 정렬을 시사한다.
• 동일 코퍼스 임베딩이 교차 코퍼스 임베딩보다 더 나은 정렬을 보이며, 더 높은 구조적 유사성이 매핑에 도움이 된다는 것을 시사한다.