[논문 리뷰] Augmentation adversarial training for self-supervised speaker recognition

Jaesung Huh, Hee Soo Heo외 3명|arXiv (Cornell University)|2020. 07. 23.

Speech Recognition and Synthesis인용 수 12

한 줄 요약

이 논문은 데이터 증강(예: 채널 변동을 시뮬레이션)에 대해 불변성을 유지하면서도 화자 신원을 구분할 수 있도록 모델을 훈련시키는 자기지도 학습 방법인 증강 적대적 훈련(Augmentation Adversarial Training, AAT)을 제안한다. 이 방법은 최신 성능을 달성하여 VoxCeleb1에서 EER을 8.65%로 낮추며, 이는 이전의 모든 자기지도 학습 방법과 심지어 인간 수준의 성능을 초월한다.

ABSTRACT

The goal of this work is to train robust speaker recognition models without speaker labels. Recent works on unsupervised speaker representations are based on contrastive learning in which they encourage within-utterance embeddings to be similar and across-utterance embeddings to be dissimilar. However, since the within-utterance segments share the same acoustic characteristics, it is difficult to separate the speaker information from the channel information. To this end, we propose augmentation adversarial training strategy that trains the network to be discriminative for the speaker information, while invariant to the augmentation applied. Since the augmentation simulates the acoustic characteristics, training the network to be invariant to augmentation also encourages the network to be invariant to the channel information in general. Extensive experiments on the VoxCeleb and VOiCES datasets show significant improvements over previous works using self-supervision, and the performance of our self-supervised models far exceed that of humans.

연구 동기 및 목표

• 자기지도 학습 방법을 개발하여 다양한 음향 환경에서도 화자 레이블 없이도 일반화 능력을 갖춘다.
• 자기지도 학습에서 채널 변동성 문제를 해결하며, 데이터 증강이 화자 임베딩에 환경적 특성을 부작동적으로 포함시킬 수 있음을 인지한다.
• 잡음 및 방 응답 함수(RIR)와 같은 부수적인 변동성에 대해 불변성을 유지하면서도 화자 식별 능력을 향상시킨다.
• 특히 도메인 이동 및 노이즈 조건에서 표준 벤치마크인 VoxCeleb1 및 VOiCES에서 기존 자기지도 모델을 능가한다.

제안 방법

• 동일한 발화에서 겹치지 않는 두 세그먼트를 양성 쌍으로 샘플링하는 대비 학습 프레임워크를 사용한다.
• 데이터 증강(예: 추가 노이즈, RIR)을 두 세그먼트에 모두 적용하여 다양한 채널 조건을 시뮬레이션한다.
• 증강 유형을 예측하기 위한 증강 분류기를 도입하고, 기울기 반전 레이어를 사용하여 화자 인코더를 증강 분류기의 정확도를 최소화하도록 적대적으로 훈련시킨다.
• 화자 임베딩 추출기는 증강에 대해 불변성을 가지도록 훈련되어, 결과적으로 채널 효과에 대해 암묵적으로 불변성이 된다.
• 대비 손실(예: 각도 기반 원형 손실)과 증강 특성에 대한 학습을 방지하는 적대적 손실을 조합한 훈련 목표를 설정한다.
• AAT 손실 가중치 $\lambda$는 화자 식별 능력과 증강 불변성 간의 균형을 맞추기 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 데이터 증강을 통한 적대적 훈련이 자기지도 학습에서 화자 인식의 내성적 성능 향상에 기여하는가?
• RQ2 데이터 증강에 대한 불변성을 학습하는 것이 실제 채널 변동성(예: 노이즈 및 리버버브)에 대한 불변성 향상으로 이어지는가?
• RQ3 제안된 방법은 화자 레이블 없이도 VoxCeleb1 및 VOiCES에서 최고 성능을 달성할 수 있는가?
• RQ4 AAT 손실 가중치 $\lambda$는 화자 식별 능력과 증강 불변성 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 AAT로 훈련된 모델은 VOiCES 데이터셋과 같이 알려지지 않은 도메인으로의 일반화 능력이 더 뛰어나게 되는가?

주요 결과

• AAT와 각도 기반 원형 손실을 사용한 모델은 VoxCeleb1에서 EER이 8.65%로, 이전의 모든 자기지도 학습 방법보다 뚜렷이 뛰어나다.
• VOiCES 데이터셋에서는 $\lambda=10$일 때 EER이 4.96%를 기록하여, 새로운 도메인으로의 일반화 능력이 뛰어나다.
• 최적의 AAT 손실 가중치는 VoxCeleb1에서는 $\lambda=3$, VOiCES에서는 $\lambda=10$로, 도메인에 따라 하이퍼파rameter 민감도가 다름을 시사한다.
• AAT는 노이즈 및 RIR을 포함한 모든 증강 설정에서 EER과 최소 탐지 비용(MinDCF)을 일관되게 감소시킨다.
• EER과 MinDCF 측정 기준으로 자기지도 모델의 성능이 인간의 화자 확인 성능을 초월한다.
• 제거 분석 결과 AAT는 공격적인 데이터 증강 조건에서도 성능 향상을 이끌어내며, 내성적 강건성 향상에 효과적임을 확인한다.