[논문 리뷰] CLAR: Contrastive Learning of Auditory Representations

Haider Al-Tahan, Yalda Mohsenzadeh|arXiv (Cornell University)|2020. 10. 19.

Music and Audio Processing참고 문헌 38인용 수 15

한 줄 요약

CLAR는 데이터 증강, 시간-주파수 특징, 그리고 공동 지도-대비 학습을 통합한 대비 자기지도 학습 프레임워크를 제안하며, 음성 표현 학습에 효과적이다. Speech Commands-10에서 96.1%의 상위 1위 정확도를 달성하여 지도 학습보다 1% 높고, SimCLR보다 11.3% 높으며, 라벨이 적은 데이터에서 더 빨리 수렴하고 일반화 능력이 뛰어나다.

ABSTRACT

Learning rich visual representations using contrastive self-supervised learning has been extremely successful. However, it is still a major question whether we could use a similar approach to learn superior auditory representations. In this paper, we expand on prior work (SimCLR) to learn better auditory representations. We (1) introduce various data augmentations suitable for auditory data and evaluate their impact on predictive performance, (2) show that training with time-frequency audio features substantially improves the quality of the learned representations compared to raw signals, and (3) demonstrate that training with both supervised and contrastive losses simultaneously improves the learned representations compared to self-supervised pre-training followed by supervised fine-tuning. We illustrate that by combining all these methods and with substantially less labeled data, our framework (CLAR) achieves significant improvement on prediction performance compared to supervised approach. Moreover, compared to self-supervised approach, our framework converges faster with significantly better representations.

연구 동기 및 목표

• 비전 분야에서 성공한 대비 자기지도 학습이 청각 표현 학습에 효과적으로 적용될 수 있는지 조사하기 위해.
• 대비 학습에서 다양한 음성 전용 데이터 증강 기법이 표현 품질에 미치는 영향을 평가하기 위해.
• 원시 음성 신호 대신 시간-주파수 특징을 사용할 경우 대비 학습에서 학습된 표현 품질이 향상되는지 확인하기 위해.
• 지도 학습과 대비 학습 손실을 함께 최적화하여 표현 품질 향상과 수렴 속도 향상을 달성할 수 있는지 탐색하기 위해.
• CLAR가 지도 학습 및 자기지도 학습 기반 모델 대비 라벨 데이터를 훨씬 적게 사용하면서도 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• NT-Xent 손실을 사용해 동일한 음성 샘플의 증강된 뷰 간의 일치도를 최대화하는 SimCLR 방식의 대비 학습을 음성에 적용한다.
• 시간 이동, 시간 마스킹, 주파수 마스킹, 시간 스트레칭, 패드 인/아웃, 피치 이동 등 총 6종의 음성 전용 데이터 증강 기법을 도입하고 평가한다.
• 원시 파형 대신 시간-주파수 특징(예: 멜스펙트로그램)을 입력으로 사용하여 표현 품질을 향상시킨다.
• 지도 학습과 대비 학습 목표를 함께 최적화하여 교차 엔트로피(CE)와 정규화된 온도 스케일링 대비 손실(NT-Xent)을 동시에 최적화한다.
• 선형 평가 헤드를 갖춘 ResNet18 인코더를 사용하며, 평가 시에는 인코더를 고정하고 라벨 데이터에 대해서만 헤드만 미세조정한다.
• 조기 정지 기법을 사용해 1000 에포크 동안 모델을 훈련하고, 매 10 에포크마다 성능을 평가하여 수렴 속도와 최종 정확도를 추적한다.

실험 결과

연구 질문

• RQ1 대비 학습을 통한 청각 표현 학습에 있어 가장 효과적인 음성 데이터 증강 기법은 무엇인가?
• RQ2 원시 음성 신호 대신 시간-주파수 특징을 사용할 경우 대비 표현의 품질이 향상되는가?
• RQ3 지도 학습과 대비 학습 손실을 함께 최적화하는 것이 순차적 사전 훈련 및 미세조정 대비 표현 품질 향상과 수렴 속도 향상에 기여하는가?
• RQ4 라벨 데이터가 1% 밖에 없는 저샷 학습 환경에서 CLAR의 성능은 어떠한가?
• RQ5 CLAR는 자기지도 학습(SimCLR) 및 지도 학습 기반 모델 대비 더 빠른 수렴 속도와 더 높은 최종 성능을 달성하는가?

주요 결과

• CLAR는 Speech Commands-10 데이터셋에서 96.1%의 상위 1위 정확도를 기록하여 지도 학습 대비 1% 상대적 향상과 SimCLR 대비 11.3% 향상을 달성했다.
• 원시 음성에 대한 최고 성능의 증강 조합은 시간 마스킹과 시간 스트레칭이었고, 시간-주파수 특징에선 동일하게 시간 마스킹과 시간 스트레칭이 가장 높은 성능을 보였다.
• 원시 음성 대신 시간-주파수 특징을 사용할 경우 표현 품질이 크게 향상되었으며, 최적의 증강 기법과 조합했을 때 SC-10에서 정확도가 20.5% 향상되었다.
• CLAR는 자기지도 학습 기반의 SimCLR 기준보다 더 빠른 수렴 속도를 보였으며, 라벨 데이터가 적은 환경에서도 뛰어난 훈련 속도와 표현 품질을 확보했다.
• 라벨 데이터가 1%일 경우 CLAR는 77.9%의 상위 1위 정확도를 기록하여 자기지도 학습 방법을 초월했으며, 100% 라벨 데이터 기준 대비 성능 저하율이 19%에 그쳤다. 반면 지도 학습 기반 모델은 66%의 성능 저하를 보였다.
• 지도 학습과 대비 학습 손실을 함께 최적화함으로써 일반화 능력 향상과 더 빠른 수렴이 가능해졌으며, 모델은 먼저 CE 손실을 최적화하고, 이후에 점진적으로 NT-Xent 손실을 개선한다.