[논문 리뷰] Music Composition with Deep Learning: A Review

Carlos Hernandez-Olivan, Jose R. Beltran|arXiv (Cornell University)|2021. 08. 27.

Music Technology and Sound Studies인용 수 4

한 줄 요약

이 논문은 음악 창작을 위한 딥러닝(DL) 접근법을 검토하며, VAE, GAN, LSTM, Transformer의 아키텍처 분석을 통해 인공지능으로 생성된 음악과 인간의 창의성 간의 관계를 비교한다. 구조적 일관성, 창의성 평가, 스타일 일반화 등의 핵심 과제를 규명하고, 향후 연구를 위해 개선된 주관적 평가 지표와 상호작용형, 종단간(end-to-end) 모델을 권장한다.

ABSTRACT

Generating a complex work of art such as a musical composition requires exhibiting true creativity that depends on a variety of factors that are related to the hierarchy of musical language. Music generation have been faced with Algorithmic methods and recently, with Deep Learning models that are being used in other fields such as Computer Vision. In this paper we want to put into context the existing relationships between AI-based music composition models and human musical composition and creativity processes. We give an overview of the recent Deep Learning models for music composition and we compare these models to the music composition process from a theoretical point of view. We have tried to answer some of the most relevant open questions for this task by analyzing the ability of current Deep Learning models to generate music with creativity or the similarity between AI and human composition processes, among others.

연구 동기 및 목표

• 인공지능 기반 음악 생성과 인간의 작곡 창의성 간의 관계를 분석하기.
• VAE, GAN, LSTM, Transformer와 같은 딥러닝 아키텍처의 효과성을 평가하여 음악적으로 일관되고 창의적인 작품을 생성하는 데 기여하는지 평가하기.
• 음악 생성 분야의 열린 과제, 즉 구조적 일관성, 창의성 평가, 다양한 음악 스타일 간 일반화 문제를 규명하기.
• 기존 데이터셋의 한계를 탐색하고, 딥러닝 모델에서 전이 학습 및 스타일 조절 기법을 향상시킬 필요성 제기하기.
• 향후 연구 방향으로 상호작용형 AI-작곡가 협업 및 종단간 창의적 음악 생성 시스템 제안하기.

제안 방법

• 음악 생성 분야에서 최신의 딥러닝 모델, 특히 VAE, GAN, LSTM, Transformer에 초점을 맞춰 문헌 조사 및 분석을 수행하였다.
• VAE의 잠재공간 학습, GAN의 적대적 훈련, Transformer의 주의 메커니즘 등 아키텍처 구성 요소를 분석하였다.
• 객관적 지표(예: 로그우도, n-그램 정확도)와 주관적 청취 테스트를 병행하여 모델 성능을 평가하였다.
• 사전 훈련된 자연어 처리(NLP) 모델(예: Transformer)을 기반으로 심벌릭 음악 데이터에 맞게 미세조정하는 전이 학습 전략을 논의하였다.
• 일관성 있는 인간 평가를 위해 표준화된 주관적 평가 프레임워크(예: MuseGAN의 기능 기반 평가 체계)의 사용을 제안하였다.
• 장기적인 음악적 구조 및 화성 모델링에 영향을 주는 아키텍처 및 훈련 설계 선택 사항을 탐색하였다.

실험 결과

연구 질문

• RQ1 현재의 딥러닝 모델이 인간의 작품과 유사한 구조적 일관성과 화성 복잡성을 갖춘 음악을 얼마나 잘 생성할 수 있는가?
• RQ2 VAE, GAN, LSTM, Transformer의 설계 선택 사항이 생성된 음악의 창의성과 다양성에 어떤 영향을 미치는가?
• RQ3 기존 평가 방법의 한계는 무엇이며, AI로 생성된 음악의 창의성과 품질을 측정하는 데 어떤 문제가 있는가?
• RQ4 기존 데이터셋에 가장 많이 포함된 음악 장르를 초월해 일반화를 가능하게 하기 위해 전이 학습과 스타일 조절을 어떻게 향상시킬 수 있는가?
• RQ5 상호작용형, 인간-AI 협업 모델은 종단간 창의적 음악 창작으로 나아가는 데 어떤 역할을 할 수 있는가?

주요 결과

• Transformer와 자연어 처리(NLP) 기반 아키텍처는 심벌릭 음악 시퀀스의 장거리 의존성을 효과적으로 모델링할 수 있어 음악 생성에서 뛰어난 성능을 보였다.
• VAE와 GAN은 음악적 특징의 분리되고 의미 있는 잠재 표현을 학습하는 데 잠재력을 보였지만, 장기적 일관성 확보에 어려움을 겪는 경우가 많았다.
• 현재의 객관적 평가 지표는 연구 간 일관성이 떨어지며, 주관적 평가에 대한 통합 기준이 없어 비교 가능성에 한계가 있다.
• 청취 테스트는 여전히 음악의 질을 평가하는 주요 방법이지만, 창의성과 구조적 복잡성의 미묘한 측면을 포착하지 못하는 경우가 많다.
• 제한된 데이터셋(예: JSB Chorales, Lakh MIDI)으로 훈련된 모델은 표현되지 않은 장르나 스타일에 대해 일반화 능력이 떨어지며, 다양한 훈련 데이터와 더 나은 전이 학습 기법의 필요성을 시사한다.
• 향후 모델은 종단간 생성과 상호작용 설계에 초점을 맞춰야 하며, 작곡가가 예술적 통제력과 독창성을 유지하면서 AI와 함께 공동 창작할 수 있도록 해야 한다.