[논문 리뷰] An Unsupervised Autoregressive Model for Speech Representation Learning

Yu-An Chung, Wei-Ning Hsu외 2명|arXiv (Cornell University)|2019. 04. 05.

Speech Recognition and Synthesis참고 문헌 34인용 수 46

한 줄 요약

논문은 Autoregressive Predictive Coding (APC)을 소개합니다. 이는 라벨 없이 로그 Mel 스펙트로그램으로부터 일반적인 음성 표현을 학습하는 자가회귀 모델로, 라벨 없이도 전화 분류 및 화자 검증 성능을 향상시킵니다.

ABSTRACT

This paper proposes a novel unsupervised autoregressive neural model for learning generic speech representations. In contrast to other speech representation learning methods that aim to remove noise or speaker variabilities, ours is designed to preserve information for a wide range of downstream tasks. In addition, the proposed model does not require any phonetic or word boundary labels, allowing the model to benefit from large quantities of unlabeled data. Speech representations learned by our model significantly improve performance on both phone classification and speaker verification over the surface features and other supervised and unsupervised approaches. Further analysis shows that different levels of speech information are captured by our model at different layers. In particular, the lower layers tend to be more discriminative for speakers, while the upper layers provide more phonetic content.

연구 동기 및 목표

• 음성의 일반적이고 태스크에 구애받지 않는 표현을 학습하도록 하는 목적을 제시합니다.
• 향후 스펙트럼 프레임을 예측하고 다운스트림 작업을 위한 정보를 보유하도록 자가회귀 모델을 개발합니다.
• APC 표현이 선형 분류기가 다른 데이터셋에서 전화 분류 및 화자 검증을 잘 수행하게 함을 보임으로써 표현의 유용성을 증명합니다.

제안 방법

• APC를 제안하는 다층 단방향 LSTM과 잔차 연결(residual connections)을 사용하여 과거 프레임으로부터 미래 프레임을 예측합니다.
• 입력과 예측된 미래 프레임 간의 L1 손실을 최소화하도록 학습하며, 시간 이동 요소는 전역 구조를 발견하도록 유도합니다.
• 다양한 음수 샘플링 및 단계 앞 예측 구성을 통해 어떤 정보가 캡처되는지(음소적 정보 대 화자 정보)를 CPC와 비교합니다.
• 입력으로 80차원 로그 Mel 피처를 사용하고, 다운스트림 작업을 위해 마지막 LSTM 계층(또는 필요시 앞의 계층)에서 표현을 추출합니다.

실험 결과

연구 질문

• RQ1 비언어학적 라벨 없이도 데이터셋과 작업 간에 전이 가능한 음성 표현을 학습하는 것이 가능한가요?
• RQ2 다양한 APC 계층에서 어떤 정보가 캡처되며, 시간 앞 예측 단계가 그것에 어떤 영향을 미치나요?
• RQ3 APC 표현이 CPC 및 표면 피처에 비해 다운스트림 전화 분류 및 화자 검증을 개선하나요?
• RQ4 표현의 깊이와 계층 선택이 화자 검증 성능에 어떤 영향을 미치나요?

주요 결과

• APC는 전화 분류에서 CPC 변형 및 표면 피처를 능가하여 선형 분류기가 더 풍부한 음소 정보를 활용할 수 있음을 시사합니다.
• 더 깊은 APC 모델일수록 전화 분류 성능이 향상되며, 몇 칸 앞을 예측하는 지점에서 매력적인 성능이 나타납니다.
• APC 표현은 화자 검증에서 i-vector 및 최상위 CPC 베이스라인을 능가하며, 특히 더 많은 화자 정보를 보존하는 낮은 APC 계층을 사용할 때 두드러집니다.
• 낮은 APC 계층은 더 많은 화자 정보를 담고 있고, 더 높은 계층은 더 많은 음소 콘텐츠를 포착하는 경향이 있어, 언어 모델과 유사하게 계층 간 정보 분포가 나타납니다.
• 이 방법은 LibriSpeech에서 학습하고 WSJ와 TIMIT에서 평가하여 도메인 간 이동성/로버스트니스가 확인됩니다.