[논문 리뷰] Multi-Task Self-Supervised Pre-Training for Music Classification

Ho-Hsiang Wu, Chieh-Chi Kao외 5명|arXiv (Cornell University)|2021. 02. 05.

Music and Audio Processing참고 문헌 29인용 수 4

한 줄 요약

이 논문은 다중 작업(self-supervised) 사전 훈련 프레임워크를 제안하여 음악 분류에 활용한다. 이 프레임워크는 MFCC, 크로마, 템포그램과 같은 수작업으로 만든 음성 특징을 사전 과제(pretext tasks)로 활용하여 공유 음악 인코더를 훈련시킨다. 다양한 음성 표현 방식을 재가중 메커니즘과 결합함으로써, 레이블이 부족한 상황에서 장르, 악기, 리듬 분류 등의 후행 작업에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Deep learning is very data hungry, and supervised learning especially requires massive labeled data to work well. Machine listening research often suffers from limited labeled data problem, as human annotations are costly to acquire, and annotations for audio are time consuming and less intuitive. Besides, models learned from labeled dataset often embed biases specific to that particular dataset. Therefore, unsupervised learning techniques become popular approaches in solving machine listening problems. Particularly, a self-supervised learning technique utilizing reconstructions of multiple hand-crafted audio features has shown promising results when it is applied to speech domain such as emotion recognition and automatic speech recognition (ASR). In this paper, we apply self-supervised and multi-task learning methods for pre-training music encoders, and explore various design choices including encoder architectures, weighting mechanisms to combine losses from multiple tasks, and worker selections of pretext tasks. We investigate how these design choices interact with various downstream music classification tasks. We find that using various music specific workers altogether with weighting mechanisms to balance the losses during pre-training helps improve and generalize to the downstream tasks.

연구 동기 및 목표

• 자기지도 학습 사전 훈련을 활용하여 음악 분류에서 레이블이 부족한 문제를 해결한다.
• 다양한 음성 사전 과제를 활용한 다중 작업 학습이 음악 표현 학습의 일반화 능력에 미치는 영향을 조사한다.
• 인코더 아키텍처, 손실 가중 메커니즘, 워커 선택이 후행 작업 성능에 미치는 영향을 평가한다.
• 단일 작업 사전 훈련보다 다수의 음악 전용 특징을 조합함으로써 더 나은 일반화가 이루어지는지 확인한다.
• 후행 음악 분류 작업에서 파인튜닝과 고정된 특징 추출 전략을 비교한다.

제안 방법

• 웨이브폼 복원, MFCC 복원, 크로마 복원, 템포그램 복원과 같은 다수의 자기지도 사전 과제를 사용하여 공유 인코더를 사전 훈련한다.
• 다양한 사전 과제에서 유도된 손실 간 균형을 맞추기 위해 재가중 메커니즘을 도입하여 특정 과제의 지배를 방지한다.
• 표현 품질에 대한 아키텍처 영향을 평가하기 위해 두 가지 인코더 아키텍처(PASE 및 PASE+)를 사용한다.
• 세 가지 후행 시나리오를 사용하여 사전 훈련된 인코더를 평가한다: 지도 학습, 고정된 특징 추출, 파인튜닝.
• 후행 음악 분류 작업에서 인코더 특징 위에 선형 또는 다층퍼셉트론(MLP) 분류기를 적용한다.
• 대규모 비라벨 음성 데이터셋에서 훈련하고, 작은 라벨 데이터셋에서 파인튜닝하여 실제 데이터 부족 상황을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 MFCC, 크로마, 템포그램과 같은 다수의 음악 전용 특징을 사전 과제로 조합할 경우 후행 음악 분류 성능에 어떤 영향을 미치는가?
• RQ2 PASE와 PASE+와 같은 다양한 인코더 아키텍처가 음악 표현 학습에 어떤 영향을 미치는가?
• RQ3 손실 가중 메커니즘이 다중 작업 자기지도 학습 사전 훈련의 균형과 효과성에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 인코더를 파인튜닝하는 것이 고정된 특징 추출보다 더 나은 성능을 내는가?
• RQ5 라벨이 있는 예제의 수가 고정된 vs. 파인튜닝 전략의 상대적 성능에 어떤 영향을 미치는가?

주요 결과

• MFCC, 크로마, 템포그램을 모두 사용한 결과, WLP 기준으로 OpenMIC, FMA, Extended Ballroom에서 각각 1.9%, 4.5%, 14% 향상된 성능을 기록했다.
• 템포그램을 추가함으로써, 차차와 자이브와 같은 리듬적으로 다를 수 있는 댄스 장르 간의 구분 능력이 향상되었으며, 포크스트로트와 퀵스텝 간의 구분 역시 개선되었다.
• MFCC와 크로마를 함께 사용함으로써 톤의 차이를 인식하는 능력이 향상되어, 리듬은 비슷하지만 톤이 다른 장르(예: 포크스트로트와 루마)를 더 잘 구분할 수 있었다.
• 충분한 라벨 데이터가 확보된 경우, Extended Ballroom와 OpenMIC에서 파인튜닝 전략이 고정된 특징 추출 전략을 능가했지만, FMA에서는 그렇지 않았다. 이는 데이터 효율성의 임계점을 시사한다.
• 혼동 행렬 분석 결과, 다수의 워커를 추가함으로써 비대각선 오차(잘못 분류된 예)가 감소했으며, 빨간색(양성) 변화가 대각선에 집중되어 정확도 향상을 확인할 수 있었다.
• 재가중된 다중 작업 손실 메커니즘이 각 사전 과제에서 상호보완적인 신호를 학습하도록 도와주어 더 견고하고 일반화 능력이 뛰어난 표현을 도출했다.