[논문 리뷰] Analysis of Predictive Coding Models for Phonemic Representation Learning in Small Datasets

María Andrea Cruz Blandón, Okko Räsänen|arXiv (Cornell University)|2020. 07. 08.

Speech Recognition and Synthesis참고 문헌 19인용 수 10

한 줄 요약

이 연구는 프랑스어 및 중국어의 소규모 저자원 음성 데이터셋에서 음소 표현을 학습하기 위해 자동회귀 예측 코드화(APC)와 대비 예측 코드화(CPC)를 평가한다. APC의 손실과 음소 구별 성능 사이에 강한 상관관계가 있었음에도 불구하고, CPC는 빠른 수렴 속도로 뛰어난 ABX 점수를 기록하여 첫 번째 학습 에포크 후에도 APC를 능가했다. 이는 손실-성능 상관관계가 덜 명확한 상황에서도 초기 표현 학습에서 CPC의 효율성을 시사한다.

ABSTRACT

Neural network models using predictive coding are interesting from the viewpoint of computational modelling of human language acquisition, where the objective is to understand how linguistic units could be learned from speech without any labels. Even though several promising predictive coding -based learning algorithms have been proposed in the literature, it is currently unclear how well they generalise to different languages and training dataset sizes. In addition, despite that such models have shown to be effective phonemic feature learners, it is unclear whether minimisation of the predictive loss functions of these models also leads to optimal phoneme-like representations. The present study investigates the behaviour of two predictive coding models, Autoregressive Predictive Coding and Contrastive Predictive Coding, in a phoneme discrimination task (ABX task) for two languages with different dataset sizes. Our experiments show a strong correlation between the autoregressive loss and the phoneme discrimination scores with the two datasets. However, to our surprise, the CPC model shows rapid convergence already after one pass over the training data, and, on average, its representations outperform those of APC on both languages.

연구 동기 및 목표

• 저자원 환경에서 예측 코드화 모델의 언어 및 데이터셋 크기 변화에 따른 일반화 능력을 평가하기 위해.
• 소규모 데이터셋에서 모델 손실 함수와 음소 구별 성능 간의 관계를 조사하기 위해.
• APC 및 CPC 모델에서 학습 데이터 양이 표현 품질에 미치는 영향을 평가하기 위해.
• 예측 코드화 모델이 언어학적 감독 없이도 효과적인 음소 유사 표현을 학습할 수 있는지 판단하기 위해.

제안 방법

• 2.5~25시간 분량의 프랑스어 및 중국어 음성 데이터를 사용하여 APC 및 CPC 모델을 훈련하였으며, 입력으로는 원시 음성만을 사용하였다.
• 음소 구별 성능 평가를 위해 ABX 작업을 활용하였으며, 말하는 사람 간 및 말하는 사람 내에서의 최소 쌍을 구별하는 정확도를 측정하였다.
• 수렴 및 일반화 능력을 평가하기 위해 여러 학습 에포크 동안 검증 손실과 ABX 점수를 추적하였다.
• 특히 APC 모델의 최적화를 위해 조기 정지와 하이퍼파라미터 튜닝을 적용하여 모델 선택을 최적화하였다.
• CPC에서는 정보 최대화 손실(InfoNCE)을 사용하여 컨텍스트 표현과 미래 표현 간의 상호정보량을 최대화하였다.
• 두 모델 모두 비선형 인코더와 자동회귀적 컨텍스트 모델링을 사용하여 예측을 위한 잠재 표현을 생성하였다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 예측 코드화 모델의 손실과 음소 구별 성능 간에 일관된 관계가 존재하는가?
• RQ2 데이터셋 크기와 언어가 APC 및 CPC의 음소 표현 학습 성능에 미치는 영향은 어떠한가?
• RQ3 APC 및 CPC에서 예측 손실을 최소화하는 것이 최적의 음소 유사 표현을 도출하는가?
• RQ4 APC 및 CPC 모델이 소규모 데이터 환경에서 효과적인 음소 민감 표현으로 수렴하는 데 얼마나 빠른가?

주요 결과

• 프랑스어 및 중국어 데이터셋 전반에서 APC의 검증 손실과 ABX 점수 사이에 강한 상관관계(r ≈ 0.97)를 발견하였다.
• CPC는 단 한 번의 학습 에포크 후에도 두 언어에서 모두 APC를 능가하는 최고의 ABX 점수를 기록하였다.
• APC는 더 많은 데이터를 사용할수록 안정적인 성능 향상을 보였지만, 프랑스어 데이터셋의 25%(6.3시간)만으로도 수렴이 이루어져, 하이퍼파라미터 튜닝이 데이터 확장보다 더 효과적일 수 있음을 시사하였다.
• CPC의 검증 손실은 ABX 성능과 상관관계가 없었으며, 이는 손실 최소화가 이 모델의 음소 표현 품질을 신뢰성 있게 예측하지 못함을 의미한다.
• 빠른 수렴에도 불구하고, CPC는 예측 손실은 계속 감소했지만 음소 구별 성능 향상은 더 이상 이루어지지 않아, 손실과 과제 성능 사이에 괴리가 있음을 시사하였다.
• 대부분의 경우 MFCC 기반 ABX 점수를 뛰어넘었으며, CPC는 가장 낮은 ABX 점수(중국어 내 발화자 간 9.185)를 기록하여 MFCC 기준선을 능가하였다.