[논문 리뷰] Pretext Tasks selection for multitask self-supervised speech representation learning

Salah Zaiem, Titouan Parcollet외 2명|arXiv (Cornell University)|2021. 07. 01.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 다중태스크 자기지도 학습 음성 표현 학습에서 사전 학습 작업의 선택과 가중치 설정을 이론적으로 근거를 두고 계산적으로 효율적인 방법을 제안한다. 조건부 독립을 활용해 최적의 손실 가중치를 추정함으로써, 고비용의 하이퍼파rameter 탐색이 필요로 하는 것을 줄이며, 자동 음성 인식(ASR), 화자 확인, 정서 인식, 악기 분류에서 최신 기술 수준의 성능을 달성한다. 기존 기준 대비 최대 31.6% 낮은 단어 오류율(WER)과 27.4% 낮은 등가 오류율(EER)을 기록한다.

ABSTRACT

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

연구 동기 및 목표

• 다중태스크 자기지도 학습 음성 표현 학습에서 사전 학습 작업을 선택하고 조합하는 데 있어 체계적이고 이론 기반의 방법이 부족한 문제를 해결하기 위해.
• 대규모 모델을 사용할 경우 비용이 많이 드는 경험적 하이퍼파rameter 탐색이 불가능해지는 사전 학습 작업 조합에 대한 계산적 부담을 줄이기 위해.
• 특정 최종 작업에 맞게 맞춤형으로 데이터 기반의 사전 학습 작업 그룹을 지능적으로 선택할 수 있는 방법을 개발하기 위해.
• 다양한 최종 작업, 특히 자원이 제한된 상황과 비음성 오디오까지 포함한 다양한 분야에서의 일반화 능력과 강건성을 입증하기 위해.
• 재현 가능성을 높이고 효율적인 자기지도 학습 분야의 향후 연구를 지원하기 위해 SpeechBrain를 통해 코드를 공개하기 위해.

제안 방법

• 자기지도 학습 표현을 조건으로 하여 최종 작업 레이블과 사전 학습 작업 레이블 간의 조건부 독립(CI)을 활용해 개별 사전 학습 작업의 校정된 손실 가중치를 추정한다.
• 사전 학습 기간 동안 부분 손실의 가중 조합으로서의 선택 문제를 설정하며, 이 가중치는 CI 기반 통계적 의존성에서 유도된다.
• 단어 수준의 정렬을 강제 정렬(Montreal Forced Aligner 등)을 통해 사용하여, 음성 레이블과 사전 학습 특징 간의 관계를 모델링한다.
• 사전 학습 기간 동안 각 사전 학습 작업이 전체 손실에 기여하는 정도를 동적으로 조정하여, 최종 작업을 가장 잘 예측하는 작업을 우선시한다.
• 표준 SSL 아키텍처인 PASE 유사 인코더와 wav2vec 2.0과의 호환성을 확보하여 기존 파ip라인에 쉽게 통합할 수 있다.
• CI 최적화된 사전 학습 작업 그룹을 사용해 훈련된 모델를 무작위 또는 균일 가중치 조합과 비교함으로써 평가하며, WER, EER, 정확도 등의 최종 작업 메트릭을 사용한다.

실험 결과

연구 질문

• RQ1 조건부 독립 추정이 경험적 하이퍼파rameter 탐색의 대안으로서 다중태스크 자기지도 학습에서 사전 학습 작업의 선택과 가중치 설정에 대해 원리적인 접근을 제공할 수 있는가?
• RQ2 제안된 방법이 ASR, 화자 인식, 정서 인식 등 다양한 음성 및 오디오 작업에서 최종 성능을 향상시키는가?
• RQ3 이 방법은 다양한 데이터셋, 모델 아키텍처, 오디오 유형(예: 음성 대비 음악)에 대해 어떻게 확장되고 일반화되는가?
• RQ4 사전 학습 작업 선택에 있어 계산 비용이 많이 드는 분석 연구(Ablation study)의 필요성을 어느 정도 줄일 수 있는가?
• RQ5 wav2vec 2.0과 같은 최신 기술 SSL 모델에 효과적으로 적용되어 추가 훈련 비용 없이 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 랜덤 또는 균일 가중치를 사용한 기준 모델 대비 LibriSpeech 100시간 ASR 벤치마크에서 31.6%의 상대적 단어 오류율(WER) 감소를 달성했다.
• VoxCeleb1에서 화자 확인 작업에서는 기준 모델 대비 등가 오류율(EER)을 27.4% 감소시켜 더 높은 강건성과 일반화 능력을 입증했다.
• 정서 인식을 위한 IEMOCAP 데이터셋에서 제안된 방법으로 훈련된 모델은 기준 모델 대비 7.8% 높은 정확도를 기록하여 정서적 단서를 더 잘 포착함을 시사했다.
• 악기 분류 작업에 적용했을 때는 특수한 아키텍처 수정 없이도 최신 기술 수준의 성능을 달성했으며, 이는 분야 간 강력한 일반화 능력을 보여주었다.
• CI 최적화된 사전 학습 작업 그룹을 사용해 훈련한 모델는 추가 튜닝 없이도 모든 기준 모델보다 뛰어난 성능을 보였으며, 광범위한 하이퍼파rameter 탐색의 필요성을 크게 줄였다.
• wav2vec 2.0에 적용했을 때도 확장성과 강건성을 입증했으며, 이는 현대 SSL 아키텍처와의 호환성과 더 넓은 적용 가능성에 대한 추가적인 검증을 제공했다.