[논문 리뷰] dMelodies: A Music Dataset for Disentanglement Learning

Ashis Pati, Siddharth Gururani외 1명|arXiv (Cornell University)|2020. 07. 29.

Music and Audio Processing참고 문헌 42인용 수 4

한 줄 요약

이 논문은 130만 개의 2마디 단일음선 음악을 포함하는 대규모 상징적 음악 데이터셋 dMelodies를 소개한다. 이 데이터셋은 순서형, 범주형, 이진형 요인 9개로 분리된 잠재 요인을 가진다. 이는 음악 분야에서 분리 학습 알고리즘의 벤치마킹을 가능하게 하며, dSprites와 같은 영상 데이터셋에서 효과적인 방법들이 음악 데이터에서는 성능이 떨어지는 것을 드러내며 도메인 특화된 과제와 음악 전용 분리 학습 연구의 필요성을 강조한다.

ABSTRACT

Representation learning focused on disentangling the underlying factors of variation in given data has become an important area of research in machine learning. However, most of the studies in this area have relied on datasets from the computer vision domain and thus, have not been readily extended to music. In this paper, we present a new symbolic music dataset that will help researchers working on disentanglement problems demonstrate the efficacy of their algorithms on diverse domains. This will also provide a means for evaluating algorithms specifically designed for music. To this end, we create a dataset comprising of 2-bar monophonic melodies where each melody is the result of a unique combination of nine latent factors that span ordinal, categorical, and binary types. The dataset is large enough (approx. 1.3 million data points) to train and test deep networks for disentanglement learning. In addition, we present benchmarking experiments using popular unsupervised disentanglement algorithms on this dataset and compare the results with those obtained on an image-based dataset.

연구 동기 및 목표

• 대부분의 기존 연구가 영상 기반 벤치마크에 의존하고 있기 때문에, 음악 분야에서의 분리 학습을 위한 표준화되고 다양한 데이터셋의 부족을 해결한다.
• 음악 표현 학습 분야에서 재현 가능한 연구를 지원하기 위해 잘 정의되고 상호 독립적인 잠재 요인을 가진 체계적인 음악 데이터셋을 제공한다.
• 음악 데이터에서 분리 학습 알고리즘의 평가를 가능하게 하여 컴퓨터 비전 분야를 초월한 일반화 능력을 평가한다.
• dMelodies와 dSprites 양쪽에서의 벤치마킹을 통해 영상 기반과 음악 기반 분리 학습 방법 간의 성능 격차를 조사한다.
• 음악 생성 및 분석 작업에 특화된 준지도 및 지도 학습 기반 분리 학습 방법의 향후 연구를 촉진한다.

제안 방법

• 음악의 순서형, 범주형, 이진형 요인 9개(음정, 옥타브, 지속시간, 리듬, 연주법, 강세, 조성, 시간 signatures, 아르페지오 방향) 간의 독립성을 보장하기 위해 알고리즘 규칙을 사용해 2마디 단일음선 음악의 상징적 음악 데이터셋을 생성한다.
• 다양한 유형의 요인을 포함하도록 데이터셋을 설계한다: 순서형(예: 지속시간), 범주형(예: 조성), 이진형(예: 아르페지오 방향), 이를 통해 종합적인 분리 학습 평가를 가능하게 한다.
• 약 130만 개의 고유한 데이터 포인트를 포함하도록 데이터셋을 구축하여 딥 네URAL 네트워크를 활용한 분리 학습 학습에 적합하도록 스케일 가능하게 한다.
• dMelodies와 dSprites 양쪽에 대해 β-VAE, FactorVAE, 잔여 연결이 있는 β-VAE와 같은 인기 있는 비지도 분리 학습 모델을 적용해 비교적 벤치마킹을 수행한다.
• 분리 학습 품질과 모델의 정확도를 평가하기 위해 상호정보량 격차(MIG) 및 재구성 손실과 같은 지표를 사용한다.
• 각 요인별 분석을 통해 어떤 음악적 특성(예: 리듬, 음정)이 다른 특성(예: 아르페지오 방향)보다 더 쉽게 분리되는지 파악한다.

실험 결과

연구 질문

• RQ1 최신 비지도 분리 학습 알고리즘이 영상 데이터에서 학습된 후 음악 기반 데이터셋에 일반화되는 정도는 어느 정도인가?
• RQ2 분리 학습 모델의 성능은 영상 기반(dSprites)과 음악 기반(dMelodies) 데이터셋 간에 분리 학습 및 재구성 측면에서 어떻게 다를까?
• RQ3 현재의 딥 생성 모델을 사용할 때, 어떤 음악적 요인의 변화(예: 음정, 리듬, 강세)가 분리 학습에 더 적합한가?
• RQ4 음악 영역에서는 영상 영역에 비해 하이퍼파라미터 조정에 대해 분리 학습 성능과 재구성 정확도가 얼마나 민감한가?
• RQ5 요인 유형(범주형, 순서형, 이진형)과 영향의 희소성(예: 아르페지오 방향이 멜로디의 일부에만 영향을 미침)이 분리 학습 성능에 어떤 역할을 하는가?

주요 결과

• dSprites와 같은 영상 기반 데이터셋에서 잘 작동하는 분리 학습 방법들이 dMelodies 음악 데이터셋에서는 성능이 크게 떨어지며, 이는 교차 도메인 일반화가 열악함을 시사한다.
• 하이퍼파라미터 조정은 음악(dMelodies) 영역에서 재구성 및 분리 학습 성능에 더 큰 영향을 미치며, 영상(dSprites) 영역에서는 재구성 성능이 하이퍼파라미터 설정에 관계없이 안정되어 있다.
• β-VAE 모델이 dMelodies에서 가장 높은 재구성 정확도를 달성했으며, 리듬과 옥타브 요인이 가장 잘 분리되었고, 아르페지오 방향은 가장 열악한 성능을 보였다. 이는 이진 요인의 특성 때문일 가능성이 높다.
• 요인별 MIG 분석 결과, 연속적이고 구조적인 요인(예: 음정, 지속시간)은 이진형 또는 희소하게 영향을 미치는 요인(예: 아르페지오 방향)보다 더 쉽게 분리됨을 확인하였다.
• dSprites와 dMelodies 간의 성능 격차는 데이터 스케일 때문이 아니며, 두 데이터셋 모두 약 130만 개의 샘플을 포함하고 있어, 도메인 간 아키텍처나 인덕티브 바이어스의 불일치가 주요 원인임을 시사한다.
• 현재의 비지도 접근 방식이 시각 분야에서 음악 분야로 직접 이식 가능한 것이 아니며, 음악 분야에 특화된 분리 학습 방법의 필요성을 강조한다.