[논문 리뷰] Data Augmenting Contrastive Learning of Speech Representations in the Time Domain

Eugene Kharitonov, Morgane Rivière외 5명|arXiv (Cornell University)|2020. 07. 02.

Speech Recognition and Synthesis참고 문헌 50인용 수 92

한 줄 요약

이 논문은 CPC 기반 음성 표현 학습을 위한 시간 영역 데이터 증강 라이브러리인 WavAugment를 소개하며, past만의 증강과 독립적인 past/future 증강이 성능을 크게 향상시키는 것을 보이고, 더 큰 데이터로 Libri-light에서 상대적 18-22%의 이득과 Zero Speech에서 경쟁력 있는 결과를 얻는다. 또한 저자 데이터가 적은 경우의 음소 분류에서도 이득을 보여준다.

ABSTRACT

Contrastive Predictive Coding (CPC), based on predicting future segments of speech based on past segments is emerging as a powerful algorithm for representation learning of speech signal. However, it still under-performs other methods on unsupervised evaluation benchmarks. Here, we introduce WavAugment, a time-domain data augmentation library and find that applying augmentation in the past is generally more efficient and yields better performances than other methods. We find that a combination of pitch modification, additive noise and reverberation substantially increase the performance of CPC (relative improvement of 18-22%), beating the reference Libri-light results with 600 times less data. Using an out-of-domain dataset, time-domain data augmentation can push CPC to be on par with the state of the art on the Zero Speech Benchmark 2017. We also show that time-domain data augmentation consistently improves downstream limited-supervision phoneme classification tasks by a factor of 12-15% relative.

연구 동기 및 목표

• CPC 기반 음성 표현 학습에서 시간 영역 데이터 증강의 영향 조사.
• 가장 효과적인 개선을 가져오는 증강 전략(past vs. past+future)을 평가한다.
• 프랑스어와 만다린 Zero Speech 벤치마크, 그리고 제한된 감독 학습 음소 분류에 대한 결과로 확장한다.

제안 방법

• CPC2 아키텍처를 사용하여 엔코더, 컨텍스트 네트워크, 다중 헤드 예측기를 통해 미래 음성 구간의 예측 표현을 학습한다.
• 데이터 로딩 중 실시간 증강을 위해 libsox에 기반한 시간 영역 증강 라이브러리인 WavAugment를 도입한다.
• 피치, 첨가 잡음, 잔향, 밴드 거부, 및 tdrop를 포함한 증강을 CPC 학습의 past 및/또는 future 구간에 적용하여 실험한다.
• Libri-light ABX 지표를 사용하여 동일 화자/다른 화자 설정에서 비지도 표현 학습 성능을 평가한다.
• 영어, 프랑스어, 만다린 ZeroSpeech 2017 벤치마크에 도메인 내·외부 학습 데이터를 포함하여 실험을 확장한다.
• CPC 특징 위에 제한된 Libri-light 라벨 데이터로 미세조정하여 준지도 학습의 개선을 평가한다.

실험 결과

연구 질문

• RQ1 시간 영역 증강이 CPC 기반 음성 표현 학습에 어떤 영향을 미치는가?
• RQ2 가장 큰 개선을 주는 증강 전략(past-only vs. past+future)은 무엇인가?
• RQ3 시간 영역 증강이 언어 간 일반화 및 제한된 감독 학습 작업에 적용될 수 있는가?

주요 결과

• 데이터 증강은 Libri-light에서 비증강 CPC 특징 대비 18-22%의 상대적 향상을 제공합니다.
• 피치와 첨가 잡음이 영어, 만다린, 프랑스어에서 CPC에 가장 효과적인 증강입니다.
• 대부분의 증강에서 past-only 증강 또는 독립적인 past/future 증강이 대안들보다 우수하며, bandrej는 해로운 것으로 판정되어 제거되었습니다.
• CPC2+WavAug가 동일 화자 내/다른 화자 ABX 테스트에서 Libri-light에서 CPC2를 능가합니다(클린 및 기타 조건 모두).
• 도메인 외 학습 데이터와 함께 CPC2+WavAug는 ZeroSpeech 2017의 일부 설정에서 최첨단 Baselines에 도달하거나 능가하지만, 더 큰 학습 데이터에서만 데이터 효율이 유지됩니다.
• 데이터 증강은 준지도 음소 분류에서 큰 이득(상대 12-15%)을 가능하게 하며, 상대적으로 적은 양의 라벨 데이터 예산으로 대규모 사전학습 벤치마크를 능가할 수 있습니다.
• 시간 영역 증강(피치와 노이즈)은 CPC 학습에서 일반적인 스펙트럴 영역 증강(SpecAugment)보다 성능이 우수할 수 있습니다.