[논문 리뷰] Semi-Supervised Contrastive Learning with Generalized Contrastive Loss and Its Application to Speaker Recognition

Nakamasa Inoue, Keita Goto|arXiv (Cornell University)|2020. 06. 08.

Speech Recognition and Synthesis참고 문헌 25인용 수 29

한 줄 요약

이 논문은 텍스트 독립적 화자 확인을 위한 일반화된 대비 손실(GCL)을 사용하는 통합된 준감독 대비 학습 프레임워크를 제안한다. GCL은 감독 메트릭 학습과 비감독 대비 학습을 단일 손실 함수에 원활하게 통합하여, 아키텍처나 손실 함수를 변경하지 않고도 감독, 준감독, 비감독 설정 모두에서 효과적인 학습을 가능하게 한다. VoxCeleb 데이터셋에서 이 방법은 준감독 학습에서 EER 6.01%와 비감독 학습에서 EER 15.26%를 기록했으며, 시각 데이터를 사용하지 않은 이전 비감독 방법들을 능가한다.

ABSTRACT

This paper introduces a semi-supervised contrastive learning framework and its application to text-independent speaker verification. The proposed framework employs generalized contrastive loss (GCL). GCL unifies losses from two different learning frameworks, supervised metric learning and unsupervised contrastive learning, and thus it naturally determines the loss for semi-supervised learning. In experiments, we applied the proposed framework to text-independent speaker verification on the VoxCeleb dataset. We demonstrate that GCL enables the learning of speaker embeddings in three manners, supervised learning, semi-supervised learning, and unsupervised learning, without any changes in the definition of the loss function.

연구 동기 및 목표

• 감독 메트릭 학습과 비감독 대비 학습을 하나의 프레임워크로 통합하여 준감독 학습을 위한 기반을 마련한다.
• 감독, 준감독, 비감독 학습의 세 가지 학습 패러다임을 모두 자연스럽게 지원할 수 있는 손실 함수를 개발하여 수정 없이 적용 가능하도록 한다.
• 사전 학습 모델이나 영상과 같은 보조 신호 없이도 비라벨 데이터를 활용하여 화자 확인 성능을 향상시킨다.
• 실제 화자 인식 환경에서 흔히 발생하는 저자원 라벨 데이터 상황에서 GCL의 효과를 평가한다.

제안 방법

• 제안된 프레임워크는 감독 메트릭 학습과 비감독 대비 학습을 단일 목적 함수로 통합하는 일반화된 대비 손실(GCL)을 사용한다.
• GCL은 임베딩 간 코사인 유사도를 기반으로 한 유사도 기반 손실 항목을 정의하며, 학습 가능한 스케일링 및 이동 파rameter를 포함한다: $ s(\mathbf{z}, \mathbf{z}^\prime) = \exp(\gamma \cos(\mathbf{z}, \mathbf{z}^\prime) + \beta) $.
• 손실 함수는 양성 및 음성 쌍을 모두 포함하며, 라벨은 쌍이 같은 화자(1)인지 다른 화자(0)인지를 나타내며, 라벨 신뢰도에 따라 적절한 손실 가중치를 할당한다.
• 준감독 학습에서는 기본적으로 비라벨 샘플을 음성 쌍으로 간주하며, 모든 설정에서 일관된 라벨링 전략을 적용한다.
• 데이터 증강(MUSAN, RIR)을 적용하여 비라벨 음성에서 양성 쌍을 생성함으로써, 라벨 없이도 대비 학습을 가능하게 한다.
• 모델은 40차원 필터 벤드 특징을 입력으로 사용하는 ResNet18 아키텍처를 사용하며, GCL로 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 단일 손실 함수가 화자 임베딩 학습에서 감독, 준감독, 비감독 학습을 효과적으로 지원할 수 있는가?
• RQ2 사전 학습 모델이나 보조 데이터(예: 영상) 없이 GCL 기반 프레임워크가 준감독 화자 확인에서 어떤 성능을 내는가?
• RQ3 저자원 라벨 데이터 환경에서 비라벨 데이터가 성능 향상에 얼마나 기여하는가?
• RQ4 시각적 지도 없이 GCL 기반 방법이 최신 비감독 및 준감독 화자 확인 방법과 비교해 어떤가?

주요 결과

• 제안된 GCL 프레임워크는 VoxCeleb에서 준감독 화자 확인에서 EER 6.01%를 달성했으며, 사전 학습된 ASR 모델을 사용한 이전 방법과 동일한 성능을 보였다.
• 비감독 학습에서는 EER 15.26%를 기록했으며, 얼굴 이미지를 활용한 지도 없는 다중모달 자율 학습 방법 [19]보다 뛰어난 성능을 보였다.
• 손실 함수나 네트워크 아키텍처를 수정하지 않고도 감독, 준감독, 비감독 학습의 세 가지 학습 모드에서 일관된 학습이 가능하다.
• 라벨 데이터가 부족할 경우 성능 향상이 가장 두드러지며, 저자원 환경에서 비라벨 데이터의 효과를 입증한다.
• 데이터 증강 없이 감독 학습에서 2.56%의 EER을 달성했지만, AM-Softmax와 최적화를 사용한 경우의 1.81% EER에는 못 미친다.