[논문 리뷰] Towards Unsupervised Speech-to-Text Translation

Yu-An Chung, Wei‐Hung Weng외 2명|arXiv (Cornell University)|2018. 11. 04.

Natural Language Processing Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 병렬 음성-번역 또는 텍스트-텍스트 쌍이 필요 없이 유일하게 단말어 음성 및 텍스트 코퍼스를 사용하여 훈련하는 비지도 음성-텍스트 번역 프레임워크를 제안한다. 음성과 텍스트 임베딩에서 학습된 다국어 교차 모odal 사전을 통해 번역을 초기화한 후, 언어 모델과 시퀀스 노이즈 제거 오토인코더를 활용하여 출력을 향상시켜, 병렬 지도 데이터 없이도 지도형 엔드 투 엔드 모델과 유사한 BLEU 점수를 달성한다.

ABSTRACT

We present a framework for building speech-to-text translation (ST) systems using only monolingual speech and text corpora, in other words, speech utterances from a source language and independent text from a target language. As opposed to traditional cascaded systems and end-to-end architectures, our system does not require any labeled data (i.e., transcribed source audio or parallel source and target text corpora) during training, making it especially applicable to language pairs with very few or even zero bilingual resources. The framework initializes the ST system with a cross-modal bilingual dictionary inferred from the monolingual corpora, that maps every source speech segment corresponding to a spoken word to its target text translation. For unseen source speech utterances, the system first performs word-by-word translation on each speech segment in the utterance. The translation is improved by leveraging a language model and a sequence denoising autoencoder to provide prior knowledge about the target language. Experimental results show that our unsupervised system achieves comparable BLEU scores to supervised end-to-end models despite the lack of supervision. We also provide an ablation analysis to examine the utility of each component in our system.

연구 동기 및 목표

• 병렬 훈련 데이터가 전혀 필요 없는 음성-텍스트 번역 시스템을 개발하여 저자원 또는 제로 자원 언어에 적용 가능하게 한다.
• 저자원 ST에서의 데이터 부족 문제를 해결하기 위해 단말어 음성 및 텍스트 코퍼스만 활용한다.
• 맥락 기반 언어 모델링과 시퀀스 노이즈 제거를 통합하여 비지도 번역 품질을 향상시킨다.
• 비지도 ST가 지도형 엔드 투 엔드 모델의 성능을 따라잡을 수 있음을 검증한다.

제안 방법

• 단말어 음성에서 단어 유사 음성 세그먼트를 추출하기 위해 비지도 음성 분할을 사용한다.
• 이러한 세그먼트에서 밀도 높은 의미론적 음성 임베딩을 학습하기 위해 Speech2Vec를 적용한다.
• 단말어 텍스트에 대해 Word2Vec을 훈련시켜 목표 언어의 단어 임베딩을 학습한다.
• 병렬 데이터 없이도 음성과 텍스트 임베딩 공간을 정렬하기 위해 비지도 双어사전 유도(예: VecMap, MUSE)를 활용한다.
• 정렬된 임베딩 공간에서 최근접 이웃 검색을 통해 단어별 번역을 수행한다.
• 맥락 인식 단어 선택을 위한 사전 훈련된 언어 모델과 국소 재정렬 및 다중 정렬 단어를 수정하기 위한 시퀀스 노이즈 제거 오토인코더를 통합하여 번역 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 음성과 텍스트 간의 병렬 데이터가 전혀 없이도 음성-텍스트 번역을 효과적으로 훈련시킬 수 있는가?
• RQ2 단말어 코퍼스에서 학습된 교차 모달 이중어사전이 비지도 ST 초기화에 얼마나 효과적인가?
• RQ3 지도 지도 없이 언어 모델과 시퀀스 노이즈 제거 오토인코더가 번역 품질 향상에 어느 정도 기여하는가?
• RQ4 저자원 환경에서 비지도 시스템의 성능이 지도형 엔드 투 엔드 모델과 비교해 어떻게 되는가?

주요 결과

• 비지도 시스템은 병렬 훈련 데이터가 전혀 없음에도 불구하고 지도형 엔드 투 엔드 모델과 유사한 BLEU 점수를 달성한다.
• VecMap은 MUSE보다 비지도 이중어사전 유도에서 더 뛰어난 성능을 보이며, 다양한 환경에서 더 안정적이고 높은 성능을 보인다.
• 대규모 언어 모델(예: 위키백과에서 훈련된 모델)을 통합하면 더 작은 또는 도메인 특화 언어 모델보다 번역 품질이 크게 향상된다.
• 시퀀스 노이즈 제거 오토인코더는 문법 오류와 국소 재정렬을 효과적으로 수정하여 성능을 더욱 향상시켜 지도형 기준선에 도달한다.
• 음성과 텍스트 코퍼스가 독립적으로 수집된 경우(정렬 없이)에도 프레임워크는 강력한 성능을 유지하며, 정렬된 설정 대비 약간의 성능 하락만을 보인다.