[논문 리뷰] Learning to Generate Music With Sentiment

Lucas N. Ferreira, Jim Whitehead|arXiv (Cornell University)|2021. 03. 09.

Music and Audio Processing참고 문헌 16인용 수 15

한 줄 요약

이 논문은 감정에 따라 음악 생성을 제어하기 위해 수정된 LSTM(mLSTM)과 로지스틱 회귀를 조합한 분리된 딥 생성 모델을 제안한다. mLSTM 내 감정 특화 뉴런을 식별하고 최적화함으로써 모델은 의도한 정서적 톤을 가진 음악을 생성한다—긍정적 음악의 경우 84% 정확도, 부정적 음악의 경우 67% 정확도를 기록했으며, 인간 평가자들이 의도된 정서를 확인했지만, 부정적 음악은 모호성이 있었음.

ABSTRACT

Deep Learning models have shown very promising results in automatically composing polyphonic music pieces. However, it is very hard to control such models in order to guide the compositions towards a desired goal. We are interested in controlling a model to automatically generate music with a given sentiment. This paper presents a generative Deep Learning model that can be directed to compose music with a given sentiment. Besides music generation, the same model can be used for sentiment analysis of symbolic music. We evaluate the accuracy of the model in classifying sentiment of symbolic music using a new dataset of video game soundtracks. Results show that our model is able to obtain good prediction accuracy. A user study shows that human subjects agreed that the generated music has the intended sentiment, however negative pieces can be ambiguous.

연구 동기 및 목표

• 특정 정서(긍정 또는 부정)를 가진 심벌릭 음악을 생성할 수 있는 생성형 딥 러닝 모델을 개발하는 것.
• mLSTM 내 감정 특화 뉴런을 식별하고 이를 활용해 제어 가능한 음악 생성을 가능하게 하는 것.
• 새로운 비디오 게임 사운드트랙 데이터셋을 사용해, 모델의 성능을 감정 분류기 및 음악 생성기로 평가하는 것.
• 심벌릭 음악이라는 거의 탐색되지 않은 영역에서 음악 생성과 감정을 분리하는 가능성 탐색.
• 비디오 게임, 영화, 치료적 맥락에서 감정 기반 음악 작곡에의 적용 가능성을 제공하는 것.

제안 방법

• 728개의 레이블이 없는 MIDI 파일을 비디오 게임 사운드트랙에서 수집해 생성형 mLSTM을 훈련시켜 음악 표현을 학습함.
• mLSTM의 은닉 상태를 사용해 감정을 분류하는 로지스틱 회귀 모델을 훈련시켜 감정 신호를 담당하는 뉴런을 식별함.
• 161개의 특정 mLSTM 뉴런의 가중치를 최적화하기 위해 유전 알고리즘을 사용해 원하는 감정(긍정 또는 부정)을 가진 음악을 생성함.
• 유전 알고리즘의 적합도 함수는 30개의 생성된 음악에서 예측된 감정보다 목표 감정(0 또는 1)과의 평균 제곱오차를 측정함.
• 아마존 MTurk의 인간 평가자들이 밸런스-도전도 모델을 사용해 생성된 음악을 레이블링하며, 밸런스를 감정(긍정/부정)으로 매핑함.
• 모델은 보류된 데이터셋에서 감정 분류기로 평가되고, 사용자 연구를 통해 생성된 음악으로 생성기로서의 성능을 평가함.

실험 결과

연구 질문

• RQ1 생성형 딥 러닝 모델이 특정 정서를 가진 심벌릭 음악을 효과적으로 제어하여 생성할 수 있는가?
• RQ2 mLSTM 내 감정 특화 뉴런을 식별하고 조작하여 음악 생성을 이끌 수 있는가?
• RQ3 감정 분류 정확도 측면에서, 분리된 생성형 모델이 심벌릭 음악에 대해 완전히 지도된 LSTM보다 얼마나 우수한가?
• RQ4 특히 부정적 음악의 경우, 청취자들이 의도된 감정을 어느 정도 인지하는가?
• RQ5 이 모델을 다중 감정 클래스 또는 연속적인 밸런스-도전도 값으로 생성하는 데로 확장할 수 있는가?

주요 결과

• 인간 평가자들의 확인을 통해 제안된 모델은 의도한 긍정적 감정을 가진 음악을 84%의 정확도로 생성함.
• 의도한 부정적 감정을 가진 음악을 67%의 정확도로 생성했지만, 청취자들 사이에서 부정적 음악은 모호성이 있었음.
• 로지스틱 회귀와 결합된 생성형 mLSTM은 감정 분류 정확도에서 완전히 지도된 LSTM보다 약 30% 높은 성능을 기록함.
• 인간 평가자들은 생성된 긍정적 음악이 의도된 감정을 잘 전달한다고 동의했지만, 부정적 음악은 측정 기준에 따라 혼합된 밸런스를 보이며 부분적인 성공을 나타냄.
• 유전 알고리즘이 효과적으로 뉴런 가중치를 최적화해 감정 제어를 가능하게 했지만, 부정적 생성의 낮은 적합도는 훈련 데이터의 불균형을 시사함.
• 본 연구는 감정 레이블이 부여된 심벌릭 음악의 첫 번째 레이블러된 데이터셋을 제시하여 향후 감정 기반 음악 생성 연구에 기여함.