[논문 리뷰] Semi-Supervised Music Tagging Transformer

Minz Won, Keunwoo Choi외 1명|arXiv (Cornell University)|2021. 11. 26.

Music and Audio Processing인용 수 13

한 줄 요약

이 논문은 음악 태깅에서 이전의 CNN 기반 모델을 능가하는 자기주의 기반 모델인 Music Tagging Transformer를 제안한다. 이는 국소적이고 전역적인 음성 특징을 효과적으로 포착함으로써 성능을 햖थ한다. 전체 Million Song Dataset에 대한 노이즈 있는 스터디 디스틸레이션을 활용한 준지도 학습을 통해 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 활용함으로써, 장기 음성 시퀀스에서 일반화 및 강인성 향상에 기여하며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present Music Tagging Transformer that is trained with a semi-supervised approach. The proposed model captures local acoustic characteristics in shallow convolutional layers, then temporally summarizes the sequence of the extracted features using stacked self-attention layers. Through a careful model assessment, we first show that the proposed architecture outperforms the previous state-of-the-art music tagging models that are based on convolutional neural networks under a supervised scheme. The Music Tagging Transformer is further improved by noisy student training, a semi-supervised approach that leverages both labeled and unlabeled data combined with data augmentation. To our best knowledge, this is the first attempt to utilize the entire audio of the million song dataset.

연구 동기 및 목표

• 음악의 국소적이고 전역적인 음향 패턴을 효과적으로 포착하는 딥 러닝 모델을 개발하여 태깅 성능을 향상시키는 것.
• Million Song Dataset의 레이블이 지정된 데이터가 적은 문제를 해결하기 위해 준지도 학습을 활용하여 레이블이 지정되지 않은 데이터를 활용하는 것.
• 이전의 CNN 기반 모델에서의 청크 기반 예측의 한계를 극복하고 장기 음성 시퀀스를 효과적으로 처리할 수 있는 모델 아키텍처를 설계하는 것.
• 이전의 분할 방식에서 알려진 문제를 해결하기 위해 Million Song Dataset의 새로운 개선된 데이터 분할을 제공하는 것.
• 대규모 실세계 데이터셋을 활용하여 데이터 증강 기반의 노이즈 있는 스터디 훈련이 음악 태깅에 효과적인지 입증하는 것.

제안 방법

• 모델은 멜스펙트로그램 입력으로부터 국소적 음향 특징을 추출하기 위해 얕은 컨볼루션 레이어를 사용한다.
• 특징 시퀀스의 시간적 요약과 장거리 의존성을 모델링하기 위해 스택된 멀티헤드 자기주의 레이어를 활용한다.
• 모델은 처음에 지도 학습 방식으로 훈련된 후, 노이즈 있는 스터디 훈련—지식 디스틸레이션과 데이터 증강을 결합한 준지도 학습 방법—을 통해 추가로 향상된다.
• 학생 훈련 중 데이터 증강이 적용되어 강인성과 일반화 능력 향상에 기여한다.
• 모델 평가에서는 ROC-AUC와 PR-AUC와 같은 표준 지표를 사용하여 Million Song Dataset에서 평가한다.
• 이전의 MSD 분할에서 알려진 데이터 泄漏 및 불균형 문제를 해결하기 위해 새로운 데이터 분할을 도입한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처가 지도 학습 설정에서 기존의 CNN 기반 음악 태깅 모델을 능가할 수 있는가?
• RQ2 레이블이 지정되지 않은 데이터를 활용한 준지도 학습이 Million Song Dataset에서 음악 태깅 성능을 얼마나 향상시킬 수 있는가?
• RQ3 Music Tagging Transformer는 이전의 청크 기반 CNN 모델과 비교해 장기 음성 시퀀스를 어떻게 처리하는가?
• RQ4 데이터 증강을 통한 지식 디스틸레이션(노이즈 있는 스터디 훈련)이 음악 태깅에서 일관된 성능 향상을 이끌어낼 수 있는가?
• RQ5 통합된 모델 아키텍처가 음악 태깅을 위해 국소적이고 전역적인 음성 표현을 효과적으로 학습할 수 있는가?

주요 결과

• Music Tagging Transformer는 전체 3분 음성 입력에서 ROC-AUC 0.9199와 PR-AUC 0.3814를 기록하여 이전의 최신 기술 수준의 CNN 기반 모델을 능가한다.
• 모델은 다양한 입력 길이에서 일관된 성능을 보이며, 최적의 성능은 256×4 주의 구성(너비×깊이)에서 나타나, 장기 시퀀스 모델링 능력이 뛰어나다는 것을 시사한다.
• 데이터 증강을 통한 노이즈 있는 스터디 훈련은 Music Tagging Transformer와 짧은 청크 기반 ResNet 양쪽 모두에서 일관된 성능 향상을 이끌어내어, 레이블이 지정되지 않은 데이터의 가치를 입증한다.
• 더 작은 파라미터를 가진 학생 모델(DA + KD)이 더 큰 모델(DA + KE)보다 뛰어난 성능을 보였으며, 이는 훈련 데이터가 제한적일 경우 모델 용량이 최적화되지 않을 수 있음을 시사한다.
• 모델는 전체 3분 음성 입력을 사용할 때 최고의 성능를 기록하며, 짧은 입력에 비해 성능 저하가 거의 없어, 청크 기반 모델가 장기 시퀀스에서 성능 저하를 겪는 것과 대조된다.
• 제안된 데이터 분할은 이전 MSD 분할에서 알려진 데이터 泄漏 및 불균형 문제를 해결하여, 더 신뢰할 수 있고 재현 가능한 평가를 가능하게 한다.