[논문 리뷰] SUPERB: Speech processing Universal PERformance Benchmark

Shu-Wen Yang, Po-Han Chi외 18명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling참고 문헌 40인용 수 51

한 줄 요약

슈퍼비(SUPERB)는 경량 다운스트림 헤드를 사용한 10개 이상의 음성 과제에서 고정된 프리트레인 모델 프레임워크를 도입하여 자기지도학습(Self-Supervised Learning) 표현을 벤치마킹하며 전통적 파이프라인에 비해 경쟁력 있는 결과를 보인다.

ABSTRACT

Self-supervised learning (SSL) has proven vital for advancing research in natural language processing (NLP) and computer vision (CV). The paradigm pretrains a shared model on large volumes of unlabeled data and achieves state-of-the-art (SOTA) for various tasks with minimal adaptation. However, the speech processing community lacks a similar setup to systematically explore the paradigm. To bridge this gap, we introduce Speech processing Universal PERformance Benchmark (SUPERB). SUPERB is a leaderboard to benchmark the performance of a shared model across a wide range of speech processing tasks with minimal architecture changes and labeled data. Among multiple usages of the shared model, we especially focus on extracting the representation learned from SSL due to its preferable re-usability. We present a simple framework to solve SUPERB tasks by learning task-specialized lightweight prediction heads on top of the frozen shared model. Our results demonstrate that the framework is promising as SSL representations show competitive generalizability and accessibility across SUPERB tasks. We release SUPERB as a challenge with a leaderboard and a benchmark toolkit to fuel the research in representation learning and general speech processing.

연구 동기 및 목표

• 다양한 작업에 걸친 SSL 음성 표현의 일반화 및 재사용 가능성을 평가하기 위한 표준적이고 포괄적인 벤치마크를 제공한다.
• 동일한 고정된 프리트레이닝 모델을 보편적 표현 인코더로 사용하고 경량의 작업별 헤드를 평가한다.
• 광범위한 작업 세트에서 SSL 표현을 전통적 특성(FBANK)과 비교한다.
• 오픈소스 도구 모음과 리더보드를 통해 열려 있고 재현 가능한 평가를 촉진한다.

제안 방법

• 10개의 작업과 표준화된 데이터셋으로 콘텐츠, 화자, 의미, 파랄링귀스틱으로 작업을 분할한다.
• 보편적 표현 인코더로 고정된 공유 SSL 프리트레이닝 모델을 사용한다.
• 가볍고 작업별 예측 헤드를 부착하고 이들 헤드(및 소형 다운스트림 구성요소)만 학습한다.
• 다운스트림 입력을 위해 다층 표현을 추출하고 가중 합으로 결합한다.
• 생성적, 판별적, 다중 작업 사전학습에 걸친 다양한 SSL 모델을 평가한다.
• 제출 및 재현성을 위한 벤치마크 도구키트와 온라인 리더보드를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 음성 작업 전반에서 단일 프리트레이닝 SSL 모델이 최소한의 다운스트림 학습으로 보편적 표현 인코더로 작용할 수 있는가?
• RQ2 고정된 표현, 경량 헤드 설정에서 여러 SSL 프리트레이닝 패러다임(생성적, 판별적, 다중 작업)은 어떻게 비교되는가?
• RQ3 제한된 다운스트림 튜닝 하에서 이러한 작업들에 대해 SSL 표현이 전통적인 FBANK 특징을 능가하는가?
• RQ4 콘텐츠, 화자, 의미, 파랄링귀스틱 작업에서 SSL 모델의 상대적 성능 및 일반화는 어떠한가?

주요 결과

• SSL 표현(예: wav2vec 2.0 및 HuBERT)은 다수의 SUPERB 작업에서 가벼운 작업 헤드와 함께 경쟁력 있는 결과를 달성한다.
• FBANK 특성은 경쟁하기 위해 더 많은 다운스트림 복잡성이 필요하며, SSL 표현은 선형 또는 간단한 다운스트림 모델로도 종종 FBANK를 능가한다.
• 특정 SSL 모델은 특정 작업(PR, IC, QbE, SF 등)에서 뛰어나고 엔드-투-엔드 ASR 및 QbE 맥락에서 현저한 개선을 보여준다.
• 이 프레임워크는 음성 처리 과제에 대한 SSL 표현의 강한 일반화 및 재사용 가능성을 보여준다.
• HuBERT 및 wav2vec 2.0은 QbE 및 SF를 포함한 여러 과제에서 특히 강력한 성능을 제공한다.
• 강력한 SSL 표현을 최소한의 다운스트림 커스터마이즈로 활용하여 ASR 시스템 개발을 쉽게 한다.