[논문 리뷰] From Artificial Neural Networks to Deep Learning for Music Generation -- History, Concepts and Trends

Jean-Pierre Briot|arXiv (Cornell University)|2020. 04. 07.

Music and Audio Processing참고 문헌 54인용 수 11

한 줄 요약

이 논문은 음악 생성을 위한 딥러닝에 대한 종합적인 튜토리얼을 제공하며, 1980년대 후반의 초기 인공신경망에서 현대 아키텍처에 이르기까지의 발전 과정을 추적한다. 현재의 시스템을 분류하기 위한 개념적 프레임워크를 도입하고, 핵심 아키텍처와 표현 전략을 분석하며, 제어, 구조, 창의성, 상호작용 분야의 열린 과제를 논의하며, 음악 창작에서 인간과 AI의 협업을 주장한다.

ABSTRACT

The current wave of deep learning (the hyper-vitamined return of artificial neural networks) applies not only to traditional statistical machine learning tasks: prediction and classification (e.g., for weather prediction and pattern recognition), but has already conquered other areas, such as translation. A growing area of application is the generation of creative content, notably the case of music, the topic of this paper. The motivation is in using the capacity of modern deep learning techniques to automatically learn musical styles from arbitrary musical corpora and then to generate musical samples from the estimated distribution, with some degree of control over the generation. This paper provides a tutorial on music generation based on deep learning techniques. After a short introduction to the topic illustrated by a recent exemple, the paper analyzes some early works from the late 1980s using artificial neural networks for music generation and how their pioneering contributions have prefigured current techniques. Then, we introduce some conceptual framework to analyze the various concepts and dimensions involved. Various examples of recent systems are introduced and analyzed to illustrate the variety of concerns and of techniques.

연구 동기 및 목표

• 음악 생성을 위한 딥러닝 기법에 대한 튜토리얼을 제공하여 역사를 기반으로 한 기초와 현재의 발전을 연결한다.
• 1980년대 후반의 초기 신경망 기반 음악 생성 시스템을 분석하고 현대적 접근 방식에 미친 영향을 다룬다.
• 아키텍처, 표현 방식, 제어 메커니즘을 바탕으로 다양한 딥러닝 기반 음악 생성 시스템을 분류하기 위한 개념적 프레임워크를 제안한다.
• 구조적 일관성, 창의성, 상호작용과 같은 주요 과제를 검토한다.
• 완전히 자율적인 시스템보다 인간-AI 협업 기반의 음악 창작을 주장하며, 점진적이고 상호작용 가능한 생성 방식을 강조한다.

제안 방법

• 초기 규칙 기반 및 마르코프 기반 시스템에서 현대의 딥 네URAL 네트워크에 이르기까지 음악 생성의 역사를 추적한다.
• 표현 방식(예: 심볼릭, 오디오, 토큰화된 방식), 아키텍처(예: RNNs, Transformers, VAEs, GANs), 제어 메커니즘을 기반으로 음악 생성 시스템의 분류 체계를 도입한다.
• C-RBM을 통한 조건부 생성, Music-VAE를 통한 계층적 구조, MusicTransformer를 통한 어텐션 기반 모델링과 같은 특정 아키텍처를 분석한다.
• 입력 조건화(예: Anticipation-RNN), 출력 제약 조건(예: C-RBM), 강화 학습(예: RL Tuner)과 같은 조건화 전략을 검토하여 제어력을 향상시킨다.
• 자동에코더와 생성 모델을 조합한 하이브리드 및 복합 아키텍처를 탐색하여 샘플 품질과 구조적 일관성을 향상시킨다.
• 표현 방식, 아키텍처, 제어 간의 상호작용을 이해하기 위한 개념적 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 1980년대 후반의 초기 인공신경망 접근 방식은 현대의 딥러닝 기반 음악 생성에 어떤 기초를 마련했는가?
• RQ2 현대의 딥러닝 기반 음악 생성 시스템을 구분하는 데 핵심이 되는 아키텍처적 및 표현적 차원은 무엇인가?
• RQ3 음악적 제약 조건(예: 조성, 리듬, 형식)을 충족시키기 위해 제어 기능을 효과적으로 딥 생성 모델에 통합하는 방법은 무엇인가?
• RQ4 AI가 생성한 음악의 구조적 일관성과 장기적인 음악적 흥미를 향상시키기 위해 어떤 전략을 사용할 수 있는가?
• RQ5 딥러닝 시스템을 인간 창의성을 대체하는 것이 아니라, 상호작용 기반의 인간-AI 협업 음악 창작을 지원하도록 설계하는 방법은 무엇인가?

주요 결과

• 1980년대 후반의 초기 신경망 시스템, 예를 들어 볼츠만 기반 기반의 시스템은 데이터로부터 음악 스타일을 학습할 수 있음을 보여주며, 현대의 딥러닝 기반 음악 생성의 기반을 다졌다.
• C-RBM과 같은 조건부 아키텍처는 키나 리듬과 같은 음악적 제약 조건에 따라 생성을 조절함으로써 원하는 음악적 특성과의 일치도를 향상시킨다.
• Music-VAE와 같은 계층적 아키텍처는 다수의 추상 수준에서 음악을 모델링함으로써 더 긴, 구조적으로 일관된 곡을 생성하는 데 기여한다.
• Transformer와 어텐션 기반 모델인 MusicTransformer는 음악에서 장거리 의존성을 모델링하는 데 최고 성능을 달성하여 더 표현적이고 일관된 생성 결과를 가능하게 한다.
• 강화 학습 기반 접근 방식인 RL Tuner는 피드백 신호를 통해 생성을 최적화함으로써, 사용자가 정의한 복잡한 목표를 충족시키는 음악 생성을 학습할 수 있도록 한다.
• 다양한 발전에도 불구하고, 현재의 모델들은 종종 장기간에 걸쳐 스타일은 일관되지만 구조적으로 반복적인 음악을 생성하는 경향이 있어, 더 나은 구조 유도 메커니즘의 필요성을 드러낸다.