[논문 리뷰] Music FaderNets: Controllable Music Generation Based On High-Level Features via Low-Level Feature Modelling

Hao Tan, Dorien Herremans|arXiv (Cornell University)|2020. 07. 29.

Music and Audio Processing참고 문헌 41인용 수 11

한 줄 요약

Music FaderNets는 분리된 잠재 표현을 통해 저수준 특성(리듬, 노트 밀도 등)을 모델링함으로써 해석 가능한 고수준 음악적 특성(예: 각성도)을 학습하는 준감독 학습 프레임워크를 제안한다. 가우시안 믹스처 변동 자동인코더(GM-VAEs)를 사용하여 레이블이 1% 밖에 없는 조건에서도 제어 가능한 음악 생성을 달성하며, 주관적 청취 테스트를 통해 각성도 변화에 대해 81.45%의 일치도를 확보함으로써 효과적인 스타일 전이가 가능하다.

ABSTRACT

High-level musical qualities (such as emotion) are often abstract, subjective, and hard to quantify. Given these difficulties, it is not easy to learn good feature representations with supervised learning techniques, either because of the insufficiency of labels, or the subjectiveness (and hence large variance) in human-annotated labels. In this paper, we present a framework that can learn high-level feature representations with a limited amount of data, by first modelling their corresponding quantifiable low-level attributes. We refer to our proposed framework as Music FaderNets, which is inspired by the fact that low-level attributes can be continuously manipulated by separate "sliding faders" through feature disentanglement and latent regularization techniques. High-level features are then inferred from the low-level representations through semi-supervised clustering using Gaussian Mixture Variational Autoencoders (GM-VAEs). Using arousal as an example of a high-level feature, we show that the "faders" of our model are disentangled and change linearly w.r.t. the modelled low-level attributes of the generated output music. Furthermore, we demonstrate that the model successfully learns the intrinsic relationship between arousal and its corresponding low-level attributes (rhythm and note density), with only 1% of the training set being labelled. Finally, using the learnt high-level feature representations, we explore the application of our framework in style transfer tasks across different arousal states. The effectiveness of this approach is verified through a subjective listening test.

연구 동기 및 목표

• 감정이나 각성도와 같은 고수준 음악적 특성에 대한 인간의 주관적이고 제한된 애너테이션 문제를 해결하기 위해.
• 잠재 정규화와 특성 분리 기법을 활용해 저수준 음악적 특성(예: 리듬, 노트 밀도)의 분리된 제어 가능한 표현을 학습하기 위해.
• 제한된 레이블 데이터를 활용한 준감독 클러스터링을 통해 저수준 표현에서 고수준 음악적 품질을 추론하기 위해.
• 학습된 잠재 표현을 활용해 고수준 특성(예: 각성도) 간의 스타일 전이를 가능하게 하기 위해.
• 주관적 청취 테스트와 제어 가능성 및 청취 품질의 정량적 분석을 통해 모델의 효과성을 검증하기 위해.

제안 방법

• 모델은 각 저수준 특성에 대해 별도의 잠재 공간을 갖는 조건부 VAE 아키텍처를 사용하여 '펌터' 노브를 통해 독립적인 제어를 가능하게 한다.
• 개별 저수준 특성(예: 리듬, 노트 밀도)을 별개의 해석 가능한 차원으로 분리하기 위해 잠재 정규화 기법을 적용한다.
• 저수준 특성과 고수준 특성(예: 각성도) 간의 계층적 관계를 모델링하기 위해 가우시안 믹스처 변동 자동인코더(GM-VAE)를 활용한다.
• 제한된 레이블 데이터를 활용한 준감독 방식으로 저수준 표현의 잠재 코드를 클러스터링하여 고수준 특성 표현을 학습한다.
• 스타일 전이를 위해 각각 다른 각성도 수준에 해당하는 가우시안 성분의 평균 간의 이동 벡터를 계산하고, 이를 잠재 코드에 적용하여 음악 스타일을 전이한다.
• 글로벌 디코더는 수정된 잠재 코드로부터 음악을 복원하며, 구조적 일관성을 유지하면서도 고수준 특성을 변경한다.

실험 결과

연구 질문

• RQ1 레이블이 1% 밖에 없는 조건에서 저수준 특성으로부터 고수준 음악적 특성(예: 각성도)을 학습할 수 있는가?
• RQ2 학습된 '펌터' 제어가 저수준 특성의 분리성과 생성 음악에 대한 선형적 반응성을 갖는가?
• RQ3 모델이 저수준 특성(리듬, 노트 밀도)과 고수준 각성도 간의 내재된 관계를 정확히 포착하는가?
• RQ4 고수준 특성(예: 각성도) 간의 스타일 전이를 수행하면서도 음악 품질을 유지할 수 있는가?
• RQ5 사람 청취자들이 생성된 음악에서 의도된 각성도 변화를 얼마나 잘 인지하는가?

주요 결과

• 모델은 각성도에 대해 훈련 데이터의 1%만 레이블링된 조건에서도 고수준 특성 표현을 성공적으로 학습하여 높은 데이터 효율성을 입증한다.
• 저수준 특성(리듬, 노트 밀도)에 대한 '펌터' 제어는 분리되어 있으며 생성 음악 출력에 대해 선형적이고 연속적인 영향을 미친다.
• 주관적 일관성 있는 생성 샘플을 통해 각성도와 그 저수준 대체 요소(리듬, 노트 밀도) 간의 내재된 관계를 모델이 잘 포착하고 있음을 검증한다.
• 주관적 청취 테스트에서 참가자 81.45%가 스타일 전이 후 각성도 변화의 방향을 정확히 인지했다.
• 리듬, 멜로디, 화성, 자연스러움에 대한 평균 의견 점수는 각각 3.53, 3.39, 3.41, 3.33이었으며, 이는 전이된 음악의 중간에서 양호한 청취 품질을 의미한다.
• 고수준에서 저수준 각성도로의 전이에서는 92.5%의 높은 일치도를 기록한 반면, 저수준에서 고수준으로의 전이는 70.41%로 낮아 내림차순 변화에서 더 명확한 청각적 명료성이 있음을 시사한다.