[논문 리뷰] Leveraging pre-trained representations to improve access to untranscribed speech from endangered languages

Nay San, Martijn Bartelds외 10명|arXiv (Cornell University)|2021. 03. 26.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 번역 없이 글자가 없거나 전사 자료가 없는 저자원, 멸종 위험에 처한 언어에서 질의-기반 예제 음성 용어 검색(QbE-STD)을 위해 사전 훈련된 wav2vec 2.0 표현, 특히 영어 단어 언어 모델을 활용하는 것을 제안한다. 사전 훈련된 트랜스포머 모델에서 유도된 맥락화된 음성 특징을 사용함으로써, 이 방법은 기준 방법보다 검색 성능에서 56–86%의 상대적 향상을 이룩한다. 이는 목표 언어가 사전 훈련 언어와 관련이 없더라도 성립하며, 언어 기록 맥락에서 다국어 음성 색인화를 위한 자기지도 학습 표현의 강건성을 보여준다.

ABSTRACT

Pre-trained speech representations like wav2vec 2.0 are a powerful tool for automatic speech recognition (ASR). Yet many endangered languages lack sufficient data for pre-training such models, or are predominantly oral vernaculars without a standardised writing system, precluding fine-tuning. Query-by-example spoken term detection (QbE-STD) offers an alternative for iteratively indexing untranscribed speech corpora by locating spoken query terms. Using data from 7 Australian Aboriginal languages and a regional variety of Dutch, all of which are endangered or vulnerable, we show that QbE-STD can be improved by leveraging representations developed for ASR (wav2vec 2.0: the English monolingual model and XLSR53 multilingual model). Surprisingly, the English model outperformed the multilingual model on 4 Australian language datasets, raising questions around how to optimally leverage self-supervised speech representations for QbE-STD. Nevertheless, we find that wav2vec 2.0 representations (either English or XLSR53) offer large improvements (56-86% relative) over state-of-the-art approaches on our endangered language datasets.

연구 동기 및 목표

• 전사 자료나 글자 체계가 없거나 종합적인 학습 데이터가 부족한 저자원 언어에서 비전사 음성 자료 코퍼스에 대한 접근성을 향상시키기 위해.
• 영어와 같은 고자원 언어에서 사전 훈련된 음성 표현이 저자원, 관련 없는 언어에서 질의-기반 예제 음성 용어 검색(QbE-STD) 성능을 향상시킬 수 있는지 평가하기 위해.
• wav2vec 2.0 영어 단어 언어 모델과 XLSR53 다국어 모델 간의 성능 비교를 통해 저자원 언어에서 QbE-STD에 대한 단어 언어 모델과 다국어 모델의 효과성을 조사하기 위해.
• 사전 훈련된 표현에 포함된 발음 정보를 분석하여, 다양한 언어 간 미세한 발음 대조를 구분하는 데에 그들의 강점과 한계를 이해하기 위해.

제안 방법

• wav2vec 2.0 모델의 11번째 트랜스포머 레이어에서 1024차원 특징을 추출하여 질의 및 테스트 오디오 세그먼트에 적용한다.
• 질의 및 테스트 아이템 임베딩 간 유사도 점수를 계산하기 위해 동적 시간 왜곡(DTW)을 적용하여 QbE-STD를 수행한다.
• 기준 비교를 위해 블로킹 특징(BNF)을 사용하여 검색 성능 평가를 수행한다.
• 오류 분석을 위해, 검색에 실패한 질의의 발음 전사와 그 상위 랭크 매칭 결과를 비교하여 체계적인 오분류 패턴을 규명한다.
• 다차원 척도화(MDS)를 적용하여 영어 및 다국어 wav2vec 2.0 모델의 임베딩 공간에서 Kaytetye 자음(음절, 파열음)의 군집화를 시각화하고 비교한다.
• 9개의 데이터셋(7개의 호주 아보리진 언어 및 Gronings)에서 검색 정확도 및 기준 대비 상대적 향상도 등의 지표를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 고자원 언어(영어)에서 사전 훈련된 wav2vec 2.0 표현이 전사 자료나 글자 체계가 없는 저자원, 멸종 위험에 처한 언어에서 QbE-STD 성능을 상당히 향상시킬 수 있는가?
• RQ2 다국어 XLSR53 모델이 53개 언어로 훈련되었음에도 불구하고, 관련 없는 저자원 언어에서 QbE-STD 성능에서 영어 단어 언어 wav2vec 2.0 모델이 다국어 모델을 능가하는가?
• RQ3 사전 훈련된 표현에서 어떤 종류의 발음 대조가 유지되거나 상실되는가? 그리고 이는 사전 훈련 언어에 비해 비대조적이거나 희귀한 발음 소리를 가진 언어의 검색 정확도에 어떤 영향을 미치는가?
• RQ4 다국어 사전 훈련을 거친 다국어 모델이 영어 모델보다 더 넓은 언어 커버리지에도 불구하고, 일부 호주 아보리진 언어에서 영어 모델이 더 높은 성능을 보이는 이유는 무엇인가?
• RQ5 사용자 및 녹음 조건 불일치가 사전 훈련된 특징 사용 시 검색 성능에 어떤 영향을 미치며, 이러한 문제는 표현 선택을 통해 완화될 수 있는가?

주요 결과

• wav2vec 2.0 영어 단어 언어 모델은 7개의 호주 아보리진 언어와 Gronings에서 기준 BNF 방법 대비 QbE-STD 검색 성능을 56–86% 상대적으로 향상시켰으며, 최고 성능은 42–52%의 검색 정확도에 이르렀다.
• 놀랍게도, 다국어 XLSR53 모델이 53개 언어로 훈련되었음에도 불구하고, 7개의 호주 언어 데이터셋 중 4개에서 영어 단어 언어 모델이 더 높은 성능을 보였다.
• 오류 분석 결과, 검색에 실패한 질의의 75%는 상위 매칭과 4개 이하의 세그멘탈 차이를 보였으며, 둘 다 유사한 발음 템플릿(VNVNTV 등)을 공유했기 때문에 발음 위치 대조가 충분히 구분되지 않았다.
• MDS를 활용한 시각화 결과, 영어 모델의 표현은 Kaytetye에서 발음 위치 대조(예: 후퇴식 대비 알베올라르 비음절)를 충분히 분리하지 못해, 비음절과 파열음의 군집이 겹치는 경향을 보였다.
• 다국어 XLSR53 모델은 영어 모델보다 자음 표현에서 더 큰 겹침을 보였으며, 이는 다국어 사전 훈련이 저자원 언어의 특정 발음 대조를 구분하는 능력을 감소시킬 수 있음을 시사한다.
• 더 낮은 언어 커버리지에도 불구하고, 영어 모델의 표현은 관련 없는 언어에서 QbE-STD에 더 효과적이었으며, 이는 목표 언어의 발음 체계와 관련된 발음 특징을 더 강하게 캡처했기 때문일 것이다.