[논문 리뷰] Learning Robust and Multilingual Speech Representations

Kazuya Kawakami, Luyu Wang외 3명|arXiv (Cornell University)|2020. 01. 29.

Speech Recognition and Synthesis참고 문헌 47인용 수 13

한 줄 요약

이 논문은 다양한, 노이즈가 많은, 다국어 음성 데이터 총 8,000시간에 걸쳐 사전 훈련된 대비 예측 코드(CPC) 모델을 제안하여 강건하고 이식 가능한 음성 표현을 학습한다. 이 방법은 표준 로그-필터뱅크 특징과는 달리 청소된 영어 데이터로만 사전 훈련된 모델보다도, 톤이 있는 언어와 자원이 적은 언어를 포함한 25개의 음소적으로 다양성이 높은 언어에서 도메인 외부에서의 강건성과 제로샷 전이 성능에서 뚜렷한 향상을 이룬다.

ABSTRACT

Unsupervised speech representation learning has shown remarkable success at finding representations that correlate with phonetic structures and improve downstream speech recognition performance. However, most research has been focused on evaluating the representations in terms of their ability to improve the performance of speech recognition systems on read English (e.g. Wall Street Journal and LibriSpeech). This evaluation methodology overlooks two important desiderata that speech representations should have: robustness to domain shifts and transferability to other languages. In this paper we learn representations from up to 8000 hours of diverse and noisy speech data and evaluate the representations by looking at their robustness to domain shifts and their ability to improve recognition performance in many languages. We find that our representations confer significant robustness advantages to the resulting recognition systems: we see significant improvements in out-of-domain transfer relative to baseline feature sets and the features likewise provide improvements in 25 phonetically diverse languages including tonal languages and low-resource languages.

연구 동기 및 목표

• 기존의 비지도 사전 훈련 방법의 한계를 해결하여 도메인 이동에 강건하고 다양한 언어 간에 이식 가능한 음성 표현을 개발하는 것.
• 대규모이고 다양한 사전 훈련 데이터가 표준 음성 인식 벤치마크에서 도메인 내 성능을 넘어서 일반화 능력을 향상시키는지 평가하는 것.
• 데이터 부족이 주요 과제인 자원이 적은 언어와 톤이 있는 언어에서 비지도 표현의 효과성을 평가하는 것.
• 사전 훈련 시 스케일과 다국어 다양성이 더 강건하고 일반화 가능한 특징을 만들어내는지 보여주는 것.

제안 방법

• 원시 음성에서 맥락 표현을 학습하기 위해 이중 방향 예측 모델링과 조밀한 잔여 연결을 포함한 확장된 대비 예측 코드(CPC) 프레임워크를 사용한다.
• 음성은 컨volutional 인코더를 통해 잠재 표현으로 인코딩되고, 이어서 과거와 미래 표현을 모델링하기 위한 자동회귀적 컨텍스트 네트워크를 거친다.
• 컨텍스트 표현과 미래 표현 간의 상호정보량을 최대화함으로써 계층적이고 의미 있는 청각적 구조를 학습하도록 유도한다.
• 사전 훈련은 최대 8,000시간의 다양한, 노이즈가 많은, 다국어 음성 데이터를 사용하여 수행되며, 자원이 적은 언어와 톤이 있는 언어를 포함한다.
• 다음으로, LibriSpeech에서 이러한 표현을 사용하여 ASR 모델을 미세 조정하고 도메인 외부 및 다국어 전이 설정에서 평가한다.
• 평가에는 도메인 내 WER와 도메인 외부 전이 성능이 포함되며, 로그-필터뱅크 특징과 LibriSpeech 전용 사전 훈련에 대한 분석도 포함된다.

실험 결과

연구 질문

• RQ1 대규모, 다양한, 노이즈가 많은 음성 데이터에 대한 사전 훈련이 음성 인식에서 도메인 이동에 대한 강건성을 향상시키는가?
• RQ2 다국어 데이터에서 학습된 표현이 자원이 적은 언어와 톤이 있는 언어로 얼마나 잘 전이되는가?
• RQ3 8,000시간의 다국어 음성 데이터로 훈련된 표현의 성능이 도메인 외부 설정에서 표준 특징과 LibriSpeech 전용 사전 훈련에 비해 어떻게 비교되는가?
• RQ4 대규모 비음성 번역 음성 데이터에서의 비지도 표현 학습이 언어 간에 음소적 구조를 암묵적으로 발견할 수 있는가?

주요 결과

• 모델이 전체 데이터의 100%를 사용해 훈련한 결과, LibriSpeech test-clean에서 13.92% WER, test-other에서 19.10% WER를 기록하여 로그-필터뱅크 특징(19.83%와 41.26%)과 CPC-LibriSpeech(15.07%와 36.05%)를 모두 앞섰다.
• 학습 데이터의 10%만 사용했을 경우, test-clean에서 13.69% WER, test-other에서 32.81% WER를 기록하여 베이스라인 로그-필터뱅크(19.65%와 41.26%)와 CPC-LibriSpeech(14.96%와 36.05%)보다 뚜렷한 우월성을 보였다.
• 언어 모델 디코딩을 적용한 결과, test-clean에서 8.86% WER, test-other에서 14.47% WER를 기록하여 다음으로 우수한 방법(CPC-LibriSpeech: 9.41%와 16.06%)을 뛰어넘었다.
• 모델은 아مهر릭어, 폰게, 스포아릴리, 월로프어 등 자원이 적고 톤이 있는 언어를 포함한 25개의 음소적으로 다양성이 높은 언어에서 강력한 제로샷 전이 성능을 보였다.
• 표준 특징과 LibriSpeech 전용 사전 훈련에 비해 도메인 이동에 대한 뚜렷한 강건성을 보였으며, 도메인 외부 전이 성능에서 일관된 향상이 있었다.
• 결과는 사전 훈련 시 스케일과 다국어 다양성이 도메인과 언어 간에 일반화 가능한 표현을 학습하는 데 핵심적이라는 점을 확인시켰다.