[논문 리뷰] Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training

Ramon Sanabria, Wei-Ning Hsu외 2명|arXiv (Cornell University)|2022. 03. 01.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 wav2vec2.0를 사용하여 자율학습 음성 표현 학습에 영향을 미치는 개별 도메인 요인—예를 들어 발음, 문법, 발화자 변동성—을 분리하여 영향을 분석하기 위한 통제 실험을 제시한다. 음성을 합성하거나 수정하여 단일 도메인 요인을 변화시키는 방식으로, 저자들은 발음 및 억양의 변동성이 문법적 또는 어휘적 요인보다 훨씬 더 중요하다는 것을 발견하였으며, 실재 데이터보다 더 큰 합성 데이터 세트가 더 뛰어난 성능을 보였다는 점을 확인하였다.

ABSTRACT

Human speech data comprises a rich set of domain factors such as accent, syntactic and semantic variety, or acoustic environment. Previous work explores the effect of domain mismatch in automatic speech recognition between pre-training and fine-tuning as a whole but does not dissect the contribution of individual factors. In this paper, we present a controlled study to better understand the effect of such factors on the performance of pre-trained representations on automatic speech recognition. To do so, we pre-train models either on modified natural speech or synthesized audio, with a single domain factor modified, and then measure performance after fine-tuning. Results show that phonetic domain factors play an important role during pre-training while grammatical and syntactic factors are far less important. To our knowledge, this is the first study to better understand the domain characteristics of pre-trained sets in self-supervised pre-training for speech.

연구 동기 및 목표

• 자연어 처리에서 자율학습 사전학습에 영향을 미치는 개별 도메인 요인—예를 들어 발음, 문법, 발화자 변동성—이 어떻게 영향을 미치는지 이해하는 것.
• 이전 연구가 도메인 불일치를 통합적인 문제로 간주하는 데서 비롯된 한계를 해결하기 위해, 각 요인이 개별적으로 기여하는 바를 분리하고 측정하는 것.
• 실제 데이터가 제한된 상황에서 제어된 도메인 변동성을 가진 합성 음성으로 모델을 효과적으로 사전학습시킬 수 있는지 평가하는 것.
• 비언어적 또는 합성 신호—예를 들어 잡음 또는 음조 시퀀스—로부터 의미 있는 표현을 학습할 수 있는지 여부를 확인하는 것.

제안 방법

• 저자들은 음성 합성(Fastspeech2와 HiFi-GAN 음성 복원기)과 오디오 수정 기법을 사용하여, 도메인 요인이 한 개만 변화된 사전학습 데이터 세트를 생성하거나 수정한다.
• 음성의 발음, 문법, 어휘 또는 억양의 변동성을 목표로 삼아, VCTK나 LJ Speech에서 합성한 데이터 또는 Librispeech에서 수정한 데이터를 사용해 wav2vec2.0 모델을 사전학습시킨다.
• 성능 평가는 표준 ASR 메트릭을 사용하여 10시간 분량의 Libri-light dev-other/clean 데이터 세트에 대해 사전학습된 모델을 미세조정함으로써 평가된다.
• 비언어적 신호에 대한 일반화 능력을 테스트하기 위해, 흰 잡음, 무작위 음조 시퀀스, 합성 발음 시퀀스 등의 다양한 사전학습 데이터 유형 간 성능을 비교한다.
• 주요 방법론적 결정 사항은, 특히 매우 합성된 데이터일 경우 사전학습을 실패할 경우 사전학습된 특징 추출기를 사용하는 것이다.
• 대규모 합성 데이터 세트(960시간)와 소규모 실재 데이터 세트(24시간 또는 44시간)를 비교하는 아블레이션 연구를 수행하여 데이터 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 발음 도메인 요인—예를 들어 음소 조합 규칙 및 억양—을 수정할 경우 자율학습 ASR 모델의 성능에 어떤 영향을 미치는가?
• RQ2 문법적 및 어휘적 변동성이 발음 요인에 비해 사전학습 효과에 얼마나 큰 영향을 미치는가?
• RQ3 무작위 잡음이나 음조 시퀀스와 같은 비언어적 신호로도 모델을 성공적으로 사전학습시킬 수 있는가?
• RQ4 하향류 ASR 정확도 측면에서 대규모 합성 사전학습 데이터 세트가 소규모 실재 데이터 세트보다 뛰어나게 성능을 발휘하는가?
• RQ5 사전학습된 특징 추출기를 사용하면, 매우 합성적이거나 비언어적 오디오 데이터로부터도 학습이 가능한가?

주요 결과

• 발음 도메인 요인, 즉 음소 조합 규칙과 억양의 변동성은 문법적 또는 어휘적 요인보다 하향류 ASR 성능에 훨씬 더 큰 영향을 미친다.
• 음소 집합을 그대로 유지하면서 음소 조합 규칙만 변경하면 dev-other에서 WER가 최대 30%까지 감소함을 확인하여, 발음 구조에 매우 민감한 것으로 나타났다.
• 어순 변경(문법적 변동성)은 영향이 미미하며, 가장 악조건에서도 WER가 2% 미만으로 증가하여, 문법적 구조가 표현 학습에 있어 덜 중요한 것으로 판단된다.
• VCTK(109명의 발화자)에서 유도된 960시간의 합성 음성으로 사전학습한 모델은 실재 VCTK 데이터 44시간으로 학습한 모델보다 성능이 뛰어나며, dev-other에서 WER 38.7%를 기록하여 실재 데이터 대비 49.7%로 더 낮게 나타났다.
• 무작위 음조 시퀀스(200–900Hz 범위의 44음소)와 사전학습된 특징 추출기를 조합하면, Transformer 모듈을 성공적으로 사전학습시킬 수 있었으며, 사전학습되지 않은 기준 모델보다 뛰어난 성능을 보였다.
• 흰 잡음 또는 무작위 단어 길이의 음조 시퀀스로 사전학습을 시도한 결과 수렴하지 못하거나 성능이 열 劣한 것으로 나타나, 효과적인 사전학습을 위해서는 구조화된 합성 신호가 필수적임을 확인하였다.