[논문 리뷰] Generative Pre-Training for Speech with Autoregressive Predictive Coding

Yu-An Chung, James Glass|arXiv (Cornell University)|2019. 10. 23.

Speech Recognition and Synthesis참고 문헌 37인용 수 10

한 줄 요약

이 논문은 대규모 레이블이 없는 데이터로부터 이식 가능한 음성 표현을 학습하기 위한 자기회귀적 예측 인코딩(autoregressive predictive coding, APC)이라는 자기지도 학습 생성 미리학습 방법을 제안한다. 향후 스펙트로그램 프레임을 자기회귀적으로 예측하도록 인코더를 훈련시킴으로써 APC는 음성 인식, 음성 번역, 화자 식별 등 다양한 작업에서 로그 멜 스펙트로그램과 다른 방법들을 능가하는 풍부하고 일반적인 표현을 학습한다. 이는 후행 작업의 레이블 데이터 및 모델 크기 요구량을 감소시킨다.

ABSTRACT

Learning meaningful and general representations from unannotated speech that are applicable to a wide range of tasks remains challenging. In this paper we propose to use autoregressive predictive coding (APC), a recently proposed self-supervised objective, as a generative pre-training approach for learning meaningful, non-specific, and transferable speech representations. We pre-train APC on large-scale unlabeled data and conduct transfer learning experiments on three speech applications that require different information about speech characteristics to perform well: speech recognition, speech translation, and speaker identification. Extensive experiments show that APC not only outperforms surface features (e.g., log Mel spectrograms) and other popular representation learning methods on all three tasks, but is also effective at reducing downstream labeled data size and model parameters. We also investigate the use of Transformers for modeling APC and find it superior to RNNs.

연구 동기 및 목표

• 대규모 레이블이 없는 데이터로부터 일반적이고 특수하지도 않으며 이식 가능한 음성 표현을 학습하는 생성 미리학습 방법을 개발하는 것.
• 기존 자기지도 학습 방법이 잡음이나 작업과 관련 없는 변동성을 제거함으로써, 알 수 없는 후행 작업에 유용한 정보를 손실시킬 수 있다는 한계를 해결하는 것.
• 원본 신호 정보를 유지하는 APC가 다양한 음성 응용 분야에서 강력한 미리학습 목표로 기능할 수 있는지 조사하는 것.
• APC의 백본 아키텍처로 Transformer와 RNN의 성능을 비교 평가하는 것.
• 특히 화자 식별의 소수 학습(S-1-shot)에서, APC 표현의 데이터 효율성과 모델 효율성을 연구하는 것.

제안 방법

• APC는 인코더가 과거 프레임까지의 정보를 바탕으로 향후 프레임 $ x_{k+n} $ 를 예측하도록 자기회귀적 목표를 사용하며, 예측된 프레임과 타겟 프레임 간의 L1 손실을 최소화한다.
• 인코더는 단방향 RNN(GRU) 또는 사인함수 위치 인코딩을 사용한 Transformer 디코더 블록으로 구현되어 순차적 의존성을 모델링한다.
• 대규모 레이블이 없는 음성 데이터를 사용하여 자기지도 APC 목표를 통해 미리학습을 수행하며, 전역적이고 국소적인 음성 구조를 유지하는 표현을 학습한다.
• 후행 작업을 위해 미리학습된 인코더는 동결된 상태에서 작업 전용 헤드(예: ASR에 대한 커펌널 레이어, SID에 대한 GRU + 소프트맥스)와 함께 미세조정된다.
• APC 표현이 매우 선형적으로 분리 가능하므로, 사전 작업 전용 인덕티브 바이어스 없이도 다양한 작업에 쉽게 적용 가능하다는 점을 활용한다.
• 실험에서는 표준 벤치마크를 기반으로 ASR, 음성 번역, 화자 식별 분야에서 APC를 로그 멜 스펙트로그램, CPC, PASE와 비교한다.

실험 결과

연구 질문

• RQ1 APC는 ASR, 음성 번역, 화자 식별과 같은 다양한 후행 작업에서 효과적인 일반 목적의 음성 표현을 학습할 수 있는가?
• RQ2 정확도 및 데이터 효율성 측면에서 기존 자기지도 학습 방법(CPC, PASE)보다 APC가 뛰어나게 성능을 내는가?
• RQ3 음성 표현 학습에서 APC 목표를 모델링하는 데 있어 Transformer 아키텍처가 RNN보다 더 효과적인가?
• RQ4 APC 표현은 후행 작업에서 레이블이 필요한 데이터 및 모델 파rameter의 양을 얼마나 줄일 수 있는가?
• RQ5 특히 화자 식별에서 화자당 하나 또는 몇 개의 음성만으로도 학습하는 소수 학습 시나리오에서 APC 표현은 얼마나 효과적인가?

주요 결과

• T-APC(Transformer 기반 APC)는 음성 번역에서 14.3 BLEU 점수를 기록하여 S-Transformer(13.8)와 캐스케이드된 ASR+MT 시스템(14.6)을 모두 능가한다.
• 화자 식별에서는 T-APC가 1회 학습(화자당 1개 음성)에서 17.6%의 정확도를 달성하여 로그 멜 표현(8.7%)의 거의 두 배에 이를 정도로 뛰어나다.
• APC 표현은 후행 작업에 필요한 레이블 데이터 및 모델 파rameter의 양을 줄여주며, 뛰어난 데이터 효율성과 모델 효율성을 입증한다.
• APC는 ASR, 음성 번역, 화자 식별의 세 가지 작업 전반에서 로그 멜 스펙트로그램과 다른 자기지도 학습 방법(CPC, PASE)을 일관되게 능가한다.
• 데이터가 적은 환경에서 APC와 기준 모델 간의 성능 격차가 커지므로, APC의 뛰어난 일반화 능력과 데이터 효율성이 확인된다.
• 다른 방법과 비교해 APC 표현은 더 선형적으로 분리 가능하므로, 다양한 작업에 이식 가능성이 높다는 것을 뒷받침한다.