[논문 리뷰] Equivariant Self-Supervision for Musical Tempo Estimation

Elio Quinton|arXiv (Cornell University)|2022. 09. 03.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터, 음성 시간 스트레칭에 대한 등장성(equivariance)을 사전 과제로 사용하는 새로운 비지도 학습 방법을 제안한다. 이로 인해 레이블 데이터, 음성 샘플링, 정규화 기법이 필요 없으며, 단지 비라벨링된 오디오와 중간 수준의 계산 자원만으로도 다양한 벤치마크에서 지도 학습 방법과 유사한 성능을 달성한다.

ABSTRACT

Self-supervised methods have emerged as a promising avenue for representation learning in the recent years since they alleviate the need for labeled datasets, which are scarce and expensive to acquire. Contrastive methods are a popular choice for self-supervision in the audio domain, and typically provide a learning signal by forcing the model to be invariant to some transformations of the input. These methods, however, require measures such as negative sampling or some form of regularisation to be taken to prevent the model from collapsing on trivial solutions. In this work, instead of invariance, we propose to use equivariance as a self-supervision signal to learn audio tempo representations from unlabelled data. We derive a simple loss function that prevents the network from collapsing on a trivial solution during training, without requiring any form of regularisation or negative sampling. Our experiments show that it is possible to learn meaningful representations for tempo estimation by solely relying on equivariant self-supervision, achieving performance comparable with supervised methods on several benchmarks. As an added benefit, our method only requires moderate compute resources and therefore remains accessible to a wide research community.

연구 동기 및 목표

• 템포 추정에서 수동으로 레이블링된 음악 데이터의 부족성과 높은 비용 문제를 해결하기 위해.
• 지도 학습이나 대조 학습을 초월한 음악 표현 학습에서의 비지도 학습을 탐색하기 위해.
• 등장성 기반 접근을 통해 리듬적 구조를 명시적으로 포착하는 비지도 학습 프레임워크를 개발하기 위해.
• 모델 붕괴를 방지하기 위해 음성 샘플링이나 정규화 기법에 의존하지 않기 위해.
• 등장성 기반 비지도 학습이 템포 추정에 대해 강건하고 전이 가능한 표현을 생성할 수 있음을 보여주기 위해.

제안 방법

• 각 오디오 샘플에 대해 알려진 인자로 무작위 시간 스트레칭을 적용해 두 개의 시각(view)을 생성하는 시아모이 네트워크 아키텍처를 사용한다.
• 시간 스트레칭에 대해 표현이 예측 가능하게 변형되도록 학습함으로써, 불변성(invariance)이 아닌 등장성(equivariance)을 강제한다.
• 시간 스트레칭된 버전 간의 표현 간 예상되는 관계를 강제하는 새로운 손실 함수를 도출하여, 정규화 없이도 비현실적인 해를 방지한다.
• 오디오 증강 기법(예: 톤 이동, 마스킹)을 적용하여 비템포 관련 신호 변형에 대한 강건성을 향상시킨다.
• 사전 학습 후, 템포 추정 작업에 대해 선형 프로브(fine-tuning)를 수행하며, 템포를 다중분류 문제로 간주한다.
• GTZAN, ACM Mirum, Hainsworth, Giantsteps 등 여러 벤치마크에서 제로샷 및 파인튜닝 프로토콜을 사용해 평가한다.

실험 결과

연구 질문

• RQ1 등장성 기반 비지도 학습이 레이블이 전혀 없는 데이터로도 의미 있는 템포 표현을 학습할 수 있는가?
• RQ2 간단한, 정규화 없이도 비지도 학습에서 모델 붕괴를 방지할 수 있는 손실 함수가 존재하는가?
• RQ3 등장성 기반 사전 학습이 템포 추정에서 지도 학습 방법과 경쟁 가능한 표현을 생성하는가?
• RQ4 학습 중에 볼 수 없었던 도메인으로의 이동에 대해 학습된 표현은 얼마나 강건한가?
• RQ5 이 방법은 자원이 적은 음악 장르나 다른 리듬 기반 음악 정보 검색(MIR) 작업으로 일반화 가능한가?

주요 결과

• 제안된 방법은 모든 테스트 데이터셋에서 지도 학습 기반 모델과 유사한 성능을 달성했으며, GTZAN에서 Accuracy 1이 모든 지도 학습 기반 모델을 초월했다.
• GTZAN 데이터셋에서, 이 방법은 0.958의 Accuracy 2를 기록하여 최고의 지도 학습 기반 모델과 동일한 성능을 보였다.
• 모든 데이터셋에서 우수한 성능 유지가 확인되었으며, 최적의 파인튜닝 설정 하에서 Accuracy 1 점수는 ACM Mirum에서 0.846, Hainsworth에서 0.700, Giantsteps에서 0.952를 기록했다.
• 학습 중에 볼 수 없었던 데이터셋에 대해서도 잘 일반화되어 도메인 이동에 대해 강건함을 입증했다.
• 시간 스트레칭 증강 기법을 사용한 파인튜닝은 모든 데이터셋에서 성능 향상을 가져왔으며, 최적의 강도는 각 데이터셋에 따라 다름을 확인했다.
• 선형 헤드 파인튜닝만으로도 경쟁 가능한 성능을 달성하여, 사전 학습 단계에서 강력하고 전이 가능한 표현이 학습되었음을 시사한다.