[논문 리뷰] Speech SIMCLR: Combining Contrastive and Reconstruction Objective for Self-supervised Speech Representation Learning

Dongwei Jiang, Wubo Li외 3명|arXiv (Cornell University)|2020. 10. 27.

Speech and Audio Processing참고 문헌 39인용 수 14

한 줄 요약

Speech SimCLR는 원시 음성과 스펙트로그램에 대한 데이터 증강을 적용하고, 대비 학습과 복원 손실을 결합하는 자기지도 학습 기반 음성 표현 학습 방법을 제안한다. 이는 음성 인식 및 정서 인식 벤치마크에서 최신 기술 수준의 성능을 달성하며, 미세조정 시 LibriSpeech test-clean에서 5.72%의 WER와 TIMIT에서 16.4%의 PER를 기록하여, 복원 손실이 없는 기준 모델보다 우수한 성능을 보인다.

ABSTRACT

Self-supervised visual pretraining has shown significant progress recently. Among those methods, SimCLR greatly advanced the state of the art in self-supervised and semi-supervised learning on ImageNet. The input feature representations for speech and visual tasks are both continuous, so it is natural to consider applying similar objective on speech representation learning. In this paper, we propose Speech SimCLR, a new self-supervised objective for speech representation learning. During training, Speech SimCLR applies augmentation on raw speech and its spectrogram. Its objective is the combination of contrastive loss that maximizes agreement between differently augmented samples in the latent space and reconstruction loss of input representation. The proposed method achieved competitive results on speech emotion recognition and speech recognition.

연구 동기 및 목표

• SimCLR에 영감을 받은 자기지도 학습 기반 음성 표현 학습 프레임워크를 개발하는 것.
• 원시 음성과 스펙트로그램에 대한 다중 모odal 데이터 증강을 통해 학습된 표현의 강건성과 일반화 능력을 향상시키는 것.
• 대비 및 복원 손실을 결합하는 것이 음성 표현 학습에 미치는 효과를 조사하는 것.
• 다양한 데이터 증강 전략, 배치 크기, 학습 에포크 수가 최종 작업 성능에 미치는 영향을 평가하는 것.
• 기존 자기지도 학습 접근법과 비교하여 제안된 방법이 음성 인식 및 정서 인식 벤치마크에서 우월한 성능을 보임을 입증하는 것.

제안 방법

• 대비 학습을 위한 양성 샘플 쌍을 생성하기 위해 원시 음성과 그 스펙트로그램에 데이터 증강을 적용한다.
• 동일한 음성 샘플의 서로 다른 증강된 시각 간에 잠재 공간에서의 일치를 최대화하기 위해 대비 손실을 사용한다.
• 잠재 특징에서 원본 입력 표현을 복원하기 위해 복원 손실을 도입하여 표현 품질을 향상시킨다.
• 모멘텀 대비 학습을 통해 대비 손실을 계산하기 위해 이중 브랜치 신경망 아키텍처를 활용한다.
• 다양한 증강 유형을 적용: 추가적 노이즈, 속도 변형, 시간/주파수 마스킹, 실내 반사, 피치 이동.
• 최종 표현을 최종 미세조정에 사용하기 위해 대비 및 복원 목표의 조합을 통해 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 비전 분야에서 SimCLR의 성공이 대비 및 복원 목표의 조합을 통해 음성 표현 학습으로 이행될 수 있는가?
• RQ2 다양한 데이터 증강 전략이 최종 작업 성능에 미치는 영향은 어떠한가?
• RQ3 대비 및 복원 목표를 결합하면 더 강건하고 일반화 능력이 뛰어난 음성 표현을 얻을 수 있는가?
• RQ4 배치 크기와 학습 기간이 제안된 Speech SimCLR 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 Speech SimCLR는 wav2vec 2.0 및 TERA와 같은 최신 자기지도 학습 방법과 비교해 음성 인식 및 정서 인식 작업에서 어떻게 성능을 내는가?

주요 결과

• Speech SimCLR는 미세조정 시 LibriSpeech test-clean에서 5.72%의 WER를 기록하여 무작위 초기화 기준 모델(6.83%)을 능가하고, TERA + FMLLR(5.84%)와 유사한 성능을 달성한다.
• TIMIT에서는 복원 손실이 포함된 경우 16.4%의 PER을 기록하여 무작위 초기화 기준 모델(17.2%)을 능가하고 TERA + FMLLR(15.2%)에 가까워진다.
• 제거 실험 결과, 음성 인식에는 추가적 노이즈와 속도 변형이 가장 중요한 증강 기법이며, 정서 인식에는 피치 이동과 주파수 마스킹이 가장 중요하다.
• 복원 손실을 추가하면 모든 최종 작업에서 성능 향상이 일관되게 관찰되어, 두 목표를 결합하는 것이 유의미한 이점을 제공함을 확인한다.
• 큰 배치 크기와 긴 학습 에포크 수가 최종 작업 성능을 향상시키며, 학습이 진행됨에 따라 배치 크기 간 격차가 점점 줄어든다.
• 충분한 사전학습 데이터가 없을 경우 모델은 TIMIT에서 성능이 열악하게 나타나, 엔드 투 엔드 미세조정을 위해서는 대규모 비태깅된 데이터가 필요함을 시사한다.