[논문 리뷰] Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning

Yi‐Chen Chen, Shu-Wen Yang외 3명|arXiv (Cornell University)|2021. 10. 18.

Speech Recognition and Synthesis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 자기지도 학습 음성 표현 학습을 향상시키기 위한 방법으로 감독형 다중작업 학습(MTL) 미세조정을 조사한다. SUPERB 벤치마크의 모든 작업에서 사전학습된 SSL 모델을 함께 미세조정함으로써, 저자들은 MTL이 표현 품질을 추가로 향상시킨다는 것을 보여주지만, SSL 사전학습만으로 수행할 경우에 비해 새로운 작업으로의 일반화 능력은 여전히 제한되어 있음을 확인한다.

ABSTRACT

Speech representation learning plays a vital role in speech processing. Among them, self-supervised learning (SSL) has become an important research direction. It has been shown that an SSL pretraining model can achieve excellent performance in various downstream tasks of speech processing. On the other hand, supervised multi-task learning (MTL) is another representation learning paradigm, which has been proven effective in computer vision (CV) and natural language processing (NLP). However, there is no systematic research on the general representation learning model trained by supervised MTL in speech processing. In this paper, we show that MTL finetuning can further improve SSL pretraining. We analyze the generalizability of supervised MTL finetuning to examine if the speech representation learned by MTL finetuning can generalize to unseen new tasks.

연구 동기 및 목표

• 자기지도 사전학습(SSL)을 통해 학습된 음성 표현을 향상시키기 위해 감독형 다중작업 학습(MTL) 미세조정이 추가로 효과가 있는지 조사하는 것.
• MTL 미세조정을 통해 학습된 표현이 MTL 훈련에 포함되지 않은 새로운 하류 작업으로 일반화되는 정도를 평가하는 것.
• MTL 미세조정 과정에서 개별 작업이 다른 작업의 성능에 미치는 영향을 분석하는 것.
• 일반적인 음성 표현을 학습하는 데 있어 SSL 사전학습과 MTL 미세조정의 효과성을 비교하는 것.

제안 방법

• SUPERB 벤치마크에서 사전학습된 최신 기술의 SSL 모델을 공통 표현 인코더로 사용함.
• 10개의 SUPERB 작업 전부에서 함께 훈련하는 방식으로 All-task MTL 미세조정을 수행함.
• 한 번에 하나의 작업만 제외하면서 공동 훈련을 수행함으로써 영향을 평가하는 방식으로 Leave-one-out MTL 미세조정을 수행함.
• 공통 모델을 동결한 후, 제외된 작업에 대해 특징을 추출하는 방식으로 Task Transfer Learning을 평가함.
• 하류 작업 훈련을 위해 공통 모델에서 고정된 표현을 사용함; 평가 시나리오에서는 모델 파라미터를 동결함.
• SSL 사전학습, All-task MTL, Leave-one-out MTL, Task Transfer Learning의 네 가지 훈련 시나리오 간 성능을 비교함.

실험 결과

연구 질문

• RQ1 감독형 다중작업 학습(MTL) 미세조정이 자기지도 사전학습(SSL)을 통해 학습된 음성 표현을 추가로 향상시킬 수 있는가?
• RQ2 MTL 미세조정 중 하나의 작업을 제거하면 나머지 작업의 성능에 어떤 영향을 미치는가?
• RQ3 MTL 훈련에 포함되지 않은 새로운 하류 작업으로 표현이 얼마나 잘 일반화되는가?
• RQ4 MTL에서 어떤 작업 조합이 서로의 성능에 가장 유익하거나 해로운가?

주요 결과

• All-task MTL 미세조정은 SSL 사전학습만으로 수행할 경우에 비해 모든 작업에서 일관되게 성능 향상을 보였으며, 이는 MTL이 표현 품질 향상에 효과적이라는 것을 입증함.
• Leave-one-out MTL 분석 결과, 화자 식별 작업(ASV, SID)은 내용 및 의미 작업(ASR, PR, SF)의 성능을 해칠 수 있었으며, 특히 공동 훈련 시에 더욱 두드러짐.
• 내용 인식 작업인 ASR 및 PR은 화자 식별 작업과 함께 공동 훈련될 경우 가장 부정적인 영향을 받았으며, 표현 학습에서의 갈등 가능성을 시사함.
• SD(화자 다이어라이제이션)는 ASV 및 SID와 함께 공동 훈련될 경우 심각하게 성능 저하를 보였으며, 이는 프레임 수준의 화자 임베딩과 문장 수준의 화자 임베딩 간의 충돌적인 요구 조건 때문일 수 있음.
• Task Transfer Learning 결과, MTL을 통해 미세조정된 모델은 이전에 제외된 작업에서 SSL 사전학습을 통해 미세조정된 모델보다 성능이 열 劣함을 보였으며, 이는 새로운 작업으로의 일반화 능력이 떨어짐을 시사함.
• ASV는 과적합 문제가 있었지만, SID와 함께 공동 훈련함으로써 이 문제를 상당히 완화시켰으며, 이는 작업 간 상호보완적 이점이 있음을 시사함.