[논문 리뷰] Generating music with sentiment using Transformer-GANs

Pedro Leão Neves, José Fornari외 1명|arXiv (Cornell University)|2022. 12. 21.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 밸런스와 각성 차원에 기반한 정서 레이블을 기반으로 조건부 상징 음악 생성을 위한 Transformer-GAN 모델을 제안한다. 최대우도추정(MLE) 사전학습과 적대적 학습을 결합함으로써, 높은 품질과 정서적 일관성을 갖춘 음악을 생성하며, 더 단순한 표현 방식과 더 적은 파라미터를 사용함에도 불구하고 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The field of Automatic Music Generation has seen significant progress thanks to the advent of Deep Learning. However, most of these results have been produced by unconditional models, which lack the ability to interact with their users, not allowing them to guide the generative process in meaningful and practical ways. Moreover, synthesizing music that remains coherent across longer timescales while still capturing the local aspects that make it sound ``realistic'' or ``human-like'' is still challenging. This is due to the large computational requirements needed to work with long sequences of data, and also to limitations imposed by the training schemes that are often employed. In this paper, we propose a generative model of symbolic music conditioned by data retrieved from human sentiment. The model is a Transformer-GAN trained with labels that correspond to different configurations of the valence and arousal dimensions that quantitatively represent human affective states. We try to tackle both of the problems above by employing an efficient linear version of Attention and using a Discriminator both as a tool to improve the overall quality of the generated music and its ability to follow the conditioning signals.

연구 동기 및 목표

• 밸런스와 각성으로 표현된 정서 상태에 따라 조건화된 상징 음악 생성 모델을 개발하는 것.
• 장기 시퀀스 음악 생성에서 교사 강제(teacher forcing)와 노출 편향(exposure bias)의 한계를 적대적 학습을 통해 해결하는 것.
• 생성된 음악의 현실감과 정서적 일관성을 향상시키면서 모델 복잡성을 감소시키는 것.
• 자동 평가 지표와 정서 정확도 및 음악 품질에 대한 인간 평가를 통해 모델 성능을 평가하는 것.
• 적대적 학습이 더 단순한 상징 표현 방식과 더 적은 파라미터를 사용함에도 불구하고 생성 품질을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 장기 시퀀스에 대해 계산 비용을 줄이기 위해 트랜스포머 인코더에서 선형 자기주의(Linear self-attention) 기법을 사용한다.
• 생성자에 대해 최대우도추정(MLE)과 적대적 목적함수를 모두 적용하여 샘플 품질과 일반화 능력을 향상시킨다.
• 판별자는 실제 음악와 생성된 샘플을 구분하도록 훈련되어 생성자의 조건부 신호를 따르는 능력을 향상시키는 피드백을 제공한다.
• 러셀 원형모델(Russell circumplex model)에서 유래한 밸런스와 각성 차원을 통해 모델을 정서 레이블에 조건화한다.
• 훈련 안정성과 샘플 다양성을 향상시키기 위해 비포화적 상대적 표준 GAN 손실(RSGAN)을 사용한다.
• 생성자 정책의 초기 품질을 향상시키기 위해 적대적 미세조정 이전에 최대우도추정(MLE)을 사용해 사전학습한다.

실험 결과

연구 질문

• RQ1 적대적 기반 모델은 밸런스와 각성 레이블에 따라 정서적으로 일관된 상징 음악을 생성할 수 있는가?
• RQ2 적대적 학습은 MLE 전용 학습 대비 트랜스포머 기반 생성 모델의 품질과 현실감을 향상시키는가?
• RQ3 정서 정확도와 음악 품질 측면에서 최신 기술 수준의 모델과 비교해 모델 성능은 어떻게 되는가?
• RQ4 더 작은, 더 단순한 모델이 더 적은 파라미터를 사용함에도 불구하고 적대적 학습을 통해 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 청취자들이 생성된 음악을 얼마나 정확하게 정서적으로 인식하고 인간다운 것으로 느끼는가?

주요 결과

• 인간 평가에서 트랜스포머-GAN은 5점 척도에서 총합 품질 평가 점수 3.44를 기록하여 베이스라인 모델(3.49)과 트랜스포머(3.89)를 모두 초월했다.
• 모델은 인간다움 점수 3.56을 획득하여 더 단순한 상징 표현 방식을 사용함에도 불구하고 강력한 인지적 현실감을 보였다.
• 정서 인식 작업에서 트랜스포머-GAN은 일관된 밸런스와 각성 평가를 유지했으며, 의도된 정서와 비교해 50% 이내의 샘플만 잘못 분류되었다.
• 구조성과 창의성 측면에서 각각 3.38과 3.06의 점수를 기록하여 일관되고 창의적인 출력을 보였다.
• 더 적은 파라미터와 더 단순한 음악 표현 방식을 사용함에도 불구하고 최신 기술 수준의 기준 모델과 경쟁 가능한 성능을 달성했다.
• 적대적 학습 기반 전략은 샘플 품질과 정서 일관성을 크게 향상시켜 노출 편향을 줄이고 일반화 능력을 향상시켰다.