[논문 리뷰] BYOL-S: Learning Self-supervised Speech Representations by Bootstrapping

Gasser Elbanna, Neil Scheidwasser외 4명|arXiv (Cornell University)|2022. 06. 24.

Speech and Audio Processing인용 수 10

한 줄 요약

이 논문은 보조 학습 프레임워크를 활용해 성능을 향상시키기 위해 AudioSet의 음성 전용 서브셋에 맞춤형으로 튜닝된 자기지도 학습 음성 표현 모델인 BYOL-S를 제안한다. 수동 특징(OpenSMILE)과 학습된 특징을 조합한 하이브리드 트레이닝 프로토콜을 도입하였으며, 컨volutional 트랜스포머 인코더를 사용하여 HEAR 2021 챌린지에서 대부분의 음성 작업에서 최고 성능을 기록하였으며, 특히 음성 및 환경 음향 분류 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Methods for extracting audio and speech features have been studied since pioneering work on spectrum analysis decades ago. Recent efforts are guided by the ambition to develop general-purpose audio representations. For example, deep neural networks can extract optimal embeddings if they are trained on large audio datasets. This work extends existing methods based on self-supervised learning by bootstrapping, proposes various encoder architectures, and explores the effects of using different pre-training datasets. Lastly, we present a novel training framework to come up with a hybrid audio representation, which combines handcrafted and data-driven learned audio features. All the proposed representations were evaluated within the HEAR NeurIPS 2021 challenge for auditory scene classification and timestamp detection tasks. Our results indicate that the hybrid model with a convolutional transformer as the encoder yields superior performance in most HEAR challenge tasks.

연구 동기 및 목표

• BYOL-A 프레임워크를 음성 전용 데이터셋에 적응시켜 음성 최적화된 일반 목적의 오디오 표현 모델을 개발하기 위해.
• 다양한 인코더 아키텍처, 사전 훈련 데이터셋, 그리고 훈련 윈도우 크기가 자기지도 학습 음성 표현 학습에 미치는 영향을 조사하기 위해.
• 수동 특징(OpenSMile)과 딥 네트워크 특징을 동시에 최적화하는 새로운 하이브리드 사전 훈련 프로토콜을 평가하기 위해.
• 초기 설정 및 윈도우 크기 조정을 통해 타임스탬프 검출 성능을 향상시키기 위해.
• HEAR 2021 챌린지의 16개의 후행 작업에서 결과 표현을 벤치마크하기 위해.

제안 방법

• BYOL-A 모델을 AudioSet의 음성 전용 서브셋에 재학습하여 음성 최적화된 자기지도 표현 학습자인 BYOL-S를 생성하였다.
• 표현 품질 향상을 위해 컨volutional 트랜스포머(CvT)를 포함한 여러 인코더 아키텍처를 탐색하였다.
• 모델이 OpenSMile 특징과 딥 네트워크 임베딩 양쪽에서 동시에 학습되도록 하이브리드 사전 훈련 프로토콜을 제안하였으며, 공통 손실 함수를 사용하였다.
• 자기지도 사전 훈련 동안의 강건성을 향상시키기 위해 시간 및 주파수 도메인에서 데이터 증강을 적용하였다.
• 하이브리드 손실 함수의 초모수 α와 β를 최적화하였으며, 음성 및 환경 음향 작업에서 최고 성능을 낸 결과 α=β=1을 도출하였다.
• 두 단계 훈련 프로토콜을 사용하였는데, 첫 번째 단계는 오디오 클립에서 인코더를 사전 훈련하는 것이며, 두 번째 단계는 학습된 표현을 사용해 후행 작업에서 미세 조정하는 것이다.

실험 결과

연구 질문

• RQ1 원본 모델 대비 BYOL-A를 음성 전용 데이터셋에 미세 조정함으로써 음성 관련 후행 작업에서 성능 향상이 이루어지는가?
• RQ2 컨volutional 트랜스포머와 같은 다양한 인코더 아키텍처는 자기지도 학습 음성 표현 품질에 어떤 영향을 미치는가?
• RQ3 수동 특징(OpenSMile)과 딥 러닝 특징을 조합한 하이브리드 사전 훈련 프로토콜이 일반 목적의 오디오 표현 학습에 기여하는가?
• RQ4 하이브리드 손실 함수에서 수동 특징과 학습된 특징 간 최적의 균형은 초모수 α와 β로 제어되는가?
• RQ5 사전 훈련 동안 윈도우 크기가 타임스탬프 검출 작업, 특히 일시적인 음악 이벤트에 대해 성능에 어떤 영향을 미치는가?

주요 결과

• 컨volutional 트랜스포머 인코더를 사용한 하이브리드 모델(BYOL-S/CvT)은 HEAR 2021 벤치마크에서 대부분의 작업에서 뛰어난 성능을 기록하였으며, 원본 BYOL-S 및 기준 모델을 모두 능가하였다.
• 음성 및 환경 음향 작업에서는 최적의 초모수 설정이 α=β=1이었으며, 비율이 불균형해지면 성능이 저하되었다.
• 음악 관련 작업에서는 α=β=1이 다른 비율에 비해 뚜렷하게 열악한 결과를 보였으며, 이는 최적의 초모수 설정이 데이터셋에 따라 달라질 수 있음을 시사한다.
• 하이브리드 트레이닝 프로토콜은 OpenSMile과 BYOL-S 임베딩을 단순히 연결하는 것보다 성능이 뛰어나, 공동 최적화가 차원의 저주를 방지하고 특징 상관관계를 향상시킨다는 것을 시사한다.
• 사전 훈련 윈도우 크기를 줄임으로써 MAESTRO 음악 변환 작업에서 노트 온셋 검출 성능이 크게 향상되었으며, 이는 일시적인 이벤트에 대해 시간 해상도의 중요성을 강조한다.
• 하이브리드 BYOL-S/CvT 모델은 음성에서 인지적 및 신체적 부하 감지 작업에서도 경쟁 가능한 성능을 기록하여, HEAR 벤치마크를 넘어서도 강건성을 입증하였다.