[논문 리뷰] Leveraging neural representations for facilitating access to untranscribed speech from endangered languages.

Nay San, Martijn Bartelds외 10명|arXiv (Cornell University)|2021. 03. 26.

Speech Recognition and Synthesis참고 문헌 8인용 수 4

한 줄 요약

이 논문은 저자원, 멸종 위험에 처한 언어에서 질의-기반 예제 음성 용어 검색(QbE-STD)의 성능을 향상시키기 위해 사전 훈련된 영어 wav2vec 2.0 표현을 활용하는 방법을 제안한다. 사전 훈련된 모델의 중간층 특징을 추출함으로써, 메르 주파수 해석 계수 및 볼트넥크 특징과 같은 전통적 특징 대비 56–86%의 상대적 성능 향상을 달성하였으며, 영어와 음운적으로 유사한 언어일수록 더 큰 향상 효과를 보였다.

ABSTRACT

For languages with insufficient resources to train speech recognition systems, query-by-example spoken term detection (QbE-STD) offers a way of accessing an untranscribed speech corpus by helping identify regions where spoken query terms occur. Yet retrieval performance can be poor when the query and corpus are spoken by different speakers and produced in different recording conditions. Using data selected from a variety of speakers and recording conditions from 7 Australian Aboriginal languages and a regional variety of Dutch, all of which are endangered or vulnerable, we evaluated whether QbE-STD performance on these languages could be improved by leveraging representations extracted from the pre-trained English wav2vec 2.0 model. Compared to the use of Mel-frequency cepstral coefficients and bottleneck features, we find that representations from the middle layers of the wav2vec 2.0 Transformer offer large gains in task performance (between 56% and 86%). While features extracted using the pre-trained English model yielded improved detection on all the evaluation languages, better detection performance was associated with the evaluation language's phonological similarity to English.

연구 동기 및 목표

• 저자원, 멸종 위험에 처한 언어에서 말하기의 질의-기반 예제 음성 용어 검색(QbE-STD) 성능이 낮은 이유로 인해 발생하는 화자 및 녹음 조건의 변동성 문제를 해결하기 위해.
• 고자원 언어(영어)에서 사전 훈련된 신경 표현이 저자원, 멸종 위험에 처한 언어에서 QbE-STD 성능 향상에 기여할 수 있는지 조사하기 위해.
• 목표 언어와 영어 간의 음운적 유사성이 전이된 표현의 효과성에 미치는 영향을 평가하기 위해.
• Mel-주파수 해석 계수 및 볼트넥크 특징과 같은 전통적 음향 특징 대비 사전 훈련된 wav2vec 2.0 특징의 성능을 비교하기 위해.

제안 방법

• 7개의 호주 아보리진 언어와 지역적 네덜란드 방언의 비번역 음성 코퍼스에서 질의-기반 예제 음성 용어 검색(QbE-STD) 시스템을 미세 조정하고 평가하였다.
• 사전 훈련된 영어 wav2vec 2.0 모델의 중간층 표현을 추출하였으며, 음향 특징으로는 트랜스포머 인코더의 히든 스테이트를 사용하였다.
• 이러한 표현의 성능을 Mel-주파수 해석 계수 및 볼트넥크 특징과 같은 표준 특징들과 비교하였다.
• 다양한 화자와 녹음 조건에서의 성능을 평가하여 도메인 이동에 대한 내성 여부를 분석하였다.
• 등가 오류율(EER)과 기준 특징 대비 상대적 향상도와 같은 표준 지표를 사용해 검출 성능을 측정하였다.
• 영어와의 음운적 유사성과 사전 훈련된 표현을 사용했을 때의 성능 향상도 간의 상관관계를 분석하였다.

실험 결과

연구 질문

• RQ1 저자원, 멸종 위험에 처한 언어에서 제한된 번역 데이터를 가진 상태에서 사전 훈련된 영어 wav2vec 2.0 표현이 QbE-STD 성능 향상에 기여할 수 있는가?
• RQ2 음운적으로 영어와 다른 유사도를 보이는 언어 간에 전이된 표현의 성능가 어떻게 달라지는가?
• RQ3 사전 훈련된 모델의 중간층 특징이 Mel-주파수 해석 계수 및 볼트넥크 특징과 같은 전통적 음향 특징보다 QbE-STD에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 사전 훈련된 표현의 사용이 화자 및 녹음 조건 불일치로 인한 성능 저하를 완화하는가?

주요 결과

• 사전 훈련된 영어 wav2vec 2.0 표현은 트랜스포머 인코더의 중간층에서 유래한 것으로, 평가된 모든 멸종 위험에 처한 언어에서 QbE-STD 성능을 크게 향상시켰다.
• Mel-주파수 해석 계수 및 볼트넥크 특징과 같은 기준 특징 대비 상대적 성능 향상률은 56%에서 86%에 이르렀다.
• 영어와 음운적으로 더 유사한 언어일수록 사전 훈련된 표현을 사용했을 때 더 큰 성능 향상을 보였다.
• 사전 훈련된 특징의 사용은 모든 평가 언어에서 일관된 향상을 가져왔으며, 저자원 조건임에도 불구하고 광범위한 전이 가능성임을 시사했다.
• 가장 뛰어난 성능을 보인 특징은 최종층이나 원시 입력이 아닌, wav2vec 2.0 모델의 중간층에서 유래한 것이었다.
• 결과적으로 사전 훈련된 표현이 저자원 음성 검색 작업에서 도메인 간 격차를 효과적으로 메워줄 수 있음을 입증하였다.