[논문 리뷰] Symbolic Music Representations for Classification Tasks: A Systematic Evaluation

Huan Zhang, Emmanouil Karystinaios외 3명|arXiv (Cornell University)|2023. 09. 05.

Music and Audio ProcessingComputer Science인용 수 3

한 줄 요약

이 논문은 CNN, Transformer, 그래프 신경망을 사용하여 심벌 음악 분류를 위한 행렬(piano roll), 시퀀스(토큰화된 음악), 그래프 표현 방식을 체계적으로 평가한다. 성능을 위한 새로운 그래프 표현 방식을 도입하며, 그래프 기반 모델이 더 낮은 학습 복잡도로 경쟁적인 성능을 달성하고, 작곡가 및 난이도 분류와 같은 핵심 과제에서 전통적 접근 방식을 초월함을 발견한다.

ABSTRACT

Music Information Retrieval (MIR) has seen a recent surge in deep learning-based approaches, which often involve encoding symbolic music (i.e., music represented in terms of discrete note events) in an image-like or language like fashion. However, symbolic music is neither an image nor a sentence, and research in the symbolic domain lacks a comprehensive overview of the different available representations. In this paper, we investigate matrix (piano roll), sequence, and graph representations and their corresponding neural architectures, in combination with symbolic scores and performances on three piece-level classification tasks. We also introduce a novel graph representation for symbolic performances and explore the capability of graph representations in global classification tasks. Our systematic evaluation shows advantages and limitations of each input representation. Our results suggest that the graph representation, as the newest and least explored among the three approaches, exhibits promising performance, while being more light-weight in training.

연구 동기 및 목표

• 심벌 음악 분류를 위한 행렬, 시퀀스, 그래프 표현 방식의 성능 및 효율성을 평가하기 위해.
• 심벌 스코어와 성능 간의 영향을 분류 과제에 미치는 영향을 비교하기 위해.
• 심벌 성능을 위한 새로운 그래프 표현 방식을 도입하고 그 효과성을 평가하기 위해.
• 그래프 표현 방식이 기존의 이미지 유사 및 언어 유사 접근 방식을 초월할 수 있는지 조사하기 위해.

제안 방법

• 심벌 음악을 피아노 롤(행렬), 토큰화된 시퀀스(시퀀스), 음악적 간선을 가진 구조화된 그래프(그래프)로 표현하기.
• 각 표현 방식에 대해 합성곱 신경망(CNN), 트랜스포머, 그래프 신경망(GNN)을 학습하고 평가하기.
• 스코어와 성능에서 피치, 지속시간, 보이스, 메트릭스 구조를 인코딩하는 이질적 그래프 표현 구축하기.
• 트랜스포머에서 학습된 어텐션과 그래프의 구조적 간선을 비교하기 위해 어텐션 시각화 적용하기.
• 스코어-성능 데이터셋에서 앨범 효과를 완화하기 위해 새로운 데이터 분할 방법 적용하기.
• 세 가지 곡 수준 과제에서 모델 평가하기: 작곡가 분류, 연주자 분류, 난이도 평가.

실험 결과

연구 질문

• RQ1 심벌 음악 분류 과제에서 행렬, 시퀀스, 그래프 표현 방식의 성능 및 학습 효율성은 어떻게 비교되는가?
• RQ2 입력 데이터로 스코어를 사용하는 것과 성능을 사용하는 것이 분류 정확도에 미치는 영향은 무엇인가?
• RQ3 심벌 성능을 위한 새로운 그래프 표현 방식이 기존 표현 방식과 비교해 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 트랜스포머의 어텐션 메커니즘과 그래프 표현의 구조적 간선 간의 관계는 어떠한가?
• RQ5 스코어-성능 데이터셋에서 발생하는 앨범 효과가 모델 일반화에 미치는 영향은 어느 정도이며, 어떻게 완화할 수 있는가?

주요 결과

• 고도화된 기능을 사용할 경우 그래프 표현 방식이 스코어 기반 작곡가 분류에서 가장 높은 정확도(87.3%)를 기록하며, 행렬 및 시퀀스 접근 방식을 뛰어넘음.
• 행렬 표현 방식이 과제 전반에 걸쳐 약간 더 높은 평균 성능과 하이퍼파rameter 변화에 대한 더 큰 강건성을 보임.
• 시퀀스 기반 모델은 어휘 크기 증가와 데이터 희소성으로 인해 고도화된 기능의 이점을 크게 얻지 못함.
• 보이스 간선 추가로 그래프 성능 향상, 특히 스코어 기반 분류에서 두드러짐 — 이는 구조 모델링의 이점 강조.
• 트랜스포머에서 학습된 어텐션과 그래프의 구조적 간선 간에 약한 양의 상관관계(Pearson r = 0.212) 발견 — 부분적인 일치는 있으나 수신 필드는 다름.
• 더 작은 신경망 아키텍처가 더 큰 아키텍처와 유사한 성능 달성 — 현재의 모델들이 곡 수준 분류 과제에 대해 일반적으로 과다 파rameter화되어 있음을 시사함.