[논문 리뷰] Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data

Yi‐Chen Chen, Chia-Hao Shen외 3명|arXiv (Cornell University)|2018. 10. 30.

Speech Recognition and Synthesis참고 문헌 14인용 수 14

한 줄 요약

이 논문은 최소한의 비일치하는 음성 및 텍스트 데이터에서 파생된 음소적 구조 임베딩을 활용하여 거의 무 supervision 방식의 음성 인식 방법을 제안한다. 200개의 쌍이 맞춰진 단어 정렬 데이터를 이용해 음성 임베딩을 텍스트 임베딩으로 매핑한다. 단지 1시간의 비주석화된 음성과 200개의 주석화된 단어 쌍만으로도 모델은 27.5%의 단어 정확도를 달성하며, 인간 유아의 초기 언어 학습 방식을 모방함으로써 자원이 부족한 음성 인식의 실현 가능성을 입증한다.

ABSTRACT

Producing a large amount of annotated speech data for training ASR systems remains difficult for more than 95% of languages all over the world which are low-resourced. However, we note human babies start to learn the language by the sounds of a small number of exemplar words without hearing a large amount of data. We initiate some preliminary work in this direction in this paper. Audio Word2Vec is used to obtain embeddings of spoken words which carry phonetic information extracted from the signals. An autoencoder is used to generate embeddings of text words based on the articulatory features for the phoneme sequences. Both sets of embeddings for spoken and text words describe similar phonetic structures among words in their respective latent spaces. A mapping relation from the audio embeddings to text embeddings actually gives the word-level ASR. This can be learned by aligning a small number of spoken words and the corresponding text words in the embedding spaces. In the initial experiments only 200 annotated spoken words and one hour of speech data without annotation gave a word accuracy of 27.5%, which is low but a good starting point.

연구 동기 및 목표

• 세계의 95% 이상의 언어들이 충분한 음성 전사 자료를 확보하지 못하고 있기 때문에, 주석이 거의 없는 데이터로도 자동 음성 인식(ASR) 시스템을 훈련시키는 데 도전하는 것.
• 인간 유아가 소수의 예시어를 통해 학습하는 방식을 영감으로 삼아, 거의 주석이 없는 데이터로 단어 수준의 ASR을 학습할 수 있는지 탐구하는 것.
• 비일치하는 음성 및 텍스트 데이터에서 음소적 구조 임베딩을 학습하고, 소수의 단어 수준 정렬을 통해 이를 매핑하는 프레임워크를 개발하는 것.
• 분리된 화자 불변 음소 임베딩과 화자 조건부 표현을 사용하여 정렬의 강건성을 향상시킬 수 있는지 조사하는 것.
• 제한된 데이터 조건에서도 음소적 구조 정렬이 기초적인 단어 수준의 인식을 가능하게 하여, 향후 더 나은 언어 모델과 아키텍처를 통해 향상 가능성을 마련하는 것.

제안 방법

• 원시 음성 신호에서 화자 및 음소 인코더 아키텍처를 갖춘 Audio Word2Vec을 사용해 화자 분리된 음소 임베딩을 추출한다.
• 화자 프로젝션 임베딩(SPE) 특징을 사용하는 시퀀스-투-시퀀스 오토인코더를 훈련시켜 음소 시퀀스를 분리된 잠재 공간에 표현하는 텍스트 인코더를 구축한다.
• 소수의 쌍이 맞춰진 단어 예제(N = 200)를 사용해 음성 및 텍스트 임베딩 공간 간의 선형 변환 행렬을 학습한다.
• 대비 손실을 적용하여 음성 및 텍스트 임베딩 공간을 정렬하면서도 화자 불변 음소적 구조를 유지한다.
• 매우 약한 이항 모델을 사용한 빔 서치를 통해 인식 결과를 재평가하고, 코사인 유사도와 언어 모델 점수를 고정된 가중치로 융합한다.
• PCA를 사용해 임베딩 공간을 시각화하여 음성 및 텍스트 공간 양쪽에서 일관된 음소적 구조(예: 단수/복수, 동사/동명사 형태)가 유지됨을 확인한다.

실험 결과

연구 질문

• RQ1 최소한의 지도 학습 조건에서 비일치하는 음성 및 텍스트 데이터로부터 음소적 구조 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 소수의 단어 수준 정렬(예: 200쌍)이 단어 수준의 ASR을 위한 음성 및 텍스트 임베딩 공간 간의 의미 있는 매핑을 가능하게 하는가?
• RQ3 음소 임베딩에서 화자 특성을 분리함으로써 저자원 환경에서의 정렬 성능 향상이 가능한가?
• RQ4 매우 약한 언어 모델을 음성 기반 검색과 융합했을 때, 정확도 향상에 어느 정도 기여하는가?
• RQ5 음성 및 텍스트 임베딩의 잠재 공간에 일관된 음소적 구조(예: 복수형, 동사 어형 변화 등)가 유지되는가?

주요 결과

• 비주석화된 음성 데이터 1시간과 주석화된 단어 쌍 200개만으로도, 매우 약한 언어 모델로 재평가한 후 최상위 1개 정답 정확도가 27.5%에 도달하여, 제로샷 ASR에 대한 실현 가능한 기초 성능을 입증한다.
• 성능이 N = 200개의 쌍에서 정점에 도달함에 따라, 현재의 선형 변환 행렬이 포화 상태에 이르렀고 더 많은 훈련 쌍으로부터도 유의미한 개선을 기대할 수 없음을 시사한다.
• 제거 실험 결과, 화자 분리 기능을 제거하거나 SPE 기반 특징 대신 원-핫 음소 인코딩을 사용할 경우 성능 저하가 발생함을 확인하여, 체계적인 음소 표현의 중요성을 입증한다.
• PCA를 통한 시각화 결과, 관련된 단어들(예: 'time', 'times', 'eye', 'eyes') 간에 일관된 삼각형 형태의 구조가 임베딩 공간에 존재함을 확인하여, 음소적 관계가 다중 모odal 간에 유지됨을 확인한다.
• 매우 약한 언어 모델이 음소적으로 유사하지만 의미적으로 잘못된 예측를 수정함으로써 정확도를 크게 향상시켰다(17.2% → 27.5%), 언어적 맥락의 가치를 입증한다.
• 모델는 음성 및 텍스트 임베딩 공간 양쪽에서 단수/복수 및 동사/동명사 형태와 같은 음소적 구조적 관계를 성공적으로 포착하여, 공통된 의미-음소 조직 구조를 공유하고 있음을 시사한다.