[논문 리뷰] Composer Style Classification of Piano Sheet Music Images Using Language Model Pretraining

T. J. Tsai, Kevin Ji|arXiv (Cornell University)|2020. 07. 29.

Music and Audio Processing참고 문헌 34인용 수 6

한 줄 요약

이 논문은 언어 모델 미사전학습을 활용하여 피아노 악보 이미지의 작곡가 스타일 분류에 대한 새로운 접근법을 제안한다. 악보 이미지를 부트레그 특징 표현을 통해 음악적 '단어'의 시퀀스로 변환한 후, 사전에 학습된 언어 모델(예: GPT-2)으로 초기화된 분류기를 소규모 레이블이 부여된 데이터셋으로 미세조정하여, 9개 클래스 분류 과제에서 46%에서 70%로 정확도가 향상됨.

ABSTRACT

This paper studies composer style classification of piano sheet music images. Previous approaches to the composer classification task have been limited by a scarcity of data. We address this issue in two ways: (1) we recast the problem to be based on raw sheet music images rather than a symbolic music format, and (2) we propose an approach that can be trained on unlabeled data. Our approach first converts the sheet music image into a sequence of musical "words" based on the bootleg feature representation, and then feeds the sequence into a text classifier. We show that it is possible to significantly improve classifier performance by first training a language model on a set of unlabeled data, initializing the classifier with the pretrained language model weights, and then finetuning the classifier on a small amount of labeled data. We train AWD-LSTM, GPT-2, and RoBERTa language models on all piano sheet music images in IMSLP. We find that transformer-based architectures outperform CNN and LSTM models, and pretraining boosts classification accuracy for the GPT-2 model from 46\% to 70\% on a 9-way classification task. The trained model can also be used as a feature extractor that projects piano sheet music into a feature space that characterizes compositional style.

연구 동기 및 목표

• 기호 음악 형식에서 원시 악보 이미지로 전환함으로써 작곡가 스타일 분류의 레이블이 부족한 문제를 해결한다.
• IMSLP에서의 대규모 레이블이 없는 악보 이미지로 사전학습을 가능하게 하여 데이터 제약을 극복한다.
• 언어 모델이 음악적 시퀀스로 사전학습한 지식을 활용해 하류 분류 성능을 향상시키는 방법을 개발한다.
• 미지의 작곡가를 위한 스타일 인식 특징 추출기로서 학습된 모델의 유용성을 탐색한다.
• 모델 아키텍처, 사전학습, 조각 크기, 추론 전략이 분류 정확도에 미치는 영향을 조사한다.

제안 방법

• 부트레그 스코어 특징 표현을 사용하여 피아노 악보 이미지를 스트립트 수준의 음악적 요소를 인코딩하는 음악적 '단어'의 시퀀스로 변환한다.
• IMSLP의 모든 레이블이 없는 피아노 악보 이미지에서 언어 모델(AWD-LSTM, GPT-2, RoBERTa)을 학습하여 일반적인 음악 패턴을 학습한다.
• 사전에 학습된 언어 모델 가중치로 텍스트 분류기를 초기화하여 학습된 표현을 활용한다.
• 작곡가 레이블이 부여된 악보 페이지의 소규모 레이블이 있는 데이터셋으로 분류기를 미세조정한다.
• 특히 짧은 페이지에서 성능 향상을 위해 다중 코너 추론을 적용한다.
• 모델의 최종 레이어 활성화를 하류 분석을 위한 스타일 인코딩 특징 벡터로 사용한다. 예를 들어, 새로운 작곡가의 경우 t-SNE 시각화를 통해 분석할 수 있다.

실험 결과

연구 질문

• RQ1 레이블이 부족한 훈련 데이터에서 언어 모델의 사전학습이 작곡가 스타일 분류 정확도를 크게 향상시킬 수 있는가?
• RQ2 대규모 레이블이 없는 악보 코퍼스에서 학습한 표현을 전이하면, 새로운 작곡가로의 일반화 성능이 향상되는가?
• RQ3 모델 아키텍처 선택(예: LSTM 대비 트랜스포머)이 분류 과제 성능에 어떤 영향을 미치는가?
• RQ4 조각 크기와 추론 전략(단일 코너 대비 다중 코너)이 분류 정확도에 어떤 영향을 미치는가?
• RQ5 학습 세트에 포함되지 않은 작곡가에 대해서도 모델이 학습한 특징이 작곡 스타일을 효과적으로 포착하고 구분할 수 있는가?

주요 결과

• IMSLP의 레이블이 없는 악보 이미지에서 GPT-2 언어 모델로 사전학습을 수행한 결과, 9개 클래스 분류 과제에서 분류 정확도가 46%에서 70%로 향상됨.
• 트랜스포머 기반 모델(GPT-2, RoBERTa)이 모든 평가 설정에서 CNN 및 LSTM 모델보다 뛰어난 성능을 보임.
• 최고의 모델(GPT-2, 조각 크기 64)의 매크로 F1 스코어는 세 가지 사전학습 조건에서 각각 0.41에서 0.51에서 0.67으로 증가함.
• 더 작은 조각 크기(64단어)는 실제 페이지 길이와의 데이터 분포 불일치를 줄여 전체 페이지 분류 성능을 향상시킴.
• 다중 코너 추론은 CNN를 제외한 모든 모델에서 성능 향상을 이끌어내어, 특정 아키텍처에서는 특징 평균화가 덜 효과적임을 시사함.
• RoBERTa 모델 활성화의 t-SNE 시각화 결과, 다섯 명의 새로운 작곡가의 악보 페이지들이 의미 있는 군집을 이룸. 이는 모델이 분리된, 스타일 인식 특징 공간을 학습하고 있음을 나타냄.