[논문 리뷰] A Survey on Artificial Intelligence for Music Generation: Agents, Domains and Perspectives

Carlos Hernandez-Olivan, Javier Hernandez-Olivan외 1명|arXiv (Cornell University)|2022. 10. 25.

Music Technology and Sound Studies인용 수 7

한 줄 요약

이 종합 검토는 AI 기반 음악 생성을 분석하여 관련된 에이전트—데이터셋, 모델, 인터페이스, 사용자, 생성된 음악—를 검토하고 인간과 AI의 작곡 과정을 비교한다. 장기적인 음악 모델링, 평가, 편향 문제에 대한 주요 과제를 밝히며, 다중모odal 학습, 효율적인 음악 인코딩, 음악 창작을 위한 일반화된 AI 프레임워크 등의 향후 연구 방향을 제안한다.

ABSTRACT

Music is one of the Gardner's intelligences in his theory of multiple intelligences. How humans perceive and understand music is still being studied and is crucial to develop artificial intelligence models that imitate such processes. Music generation with Artificial Intelligence is an emerging field that is gaining much attention in the recent years. In this paper, we describe how humans compose music and how new AI systems could imitate such process by comparing past and recent advances in the field with music composition techniques. To understand how AI models and algorithms generate music and the potential applications that might appear in the future, we explore, analyze and describe the agents that take part of the music generation process: the datasets, models, interfaces, the users and the generated music. We mention possible applications that might benefit from this field and we also propose new trends and future research directions that could be explored in the future.

연구 동기 및 목표

• 데이터셋, 모델, 인터페이스, 사용자, 생성된 음악 등의 핵심 에이전트를 식별하고 분석하여 현재 AI 음악 생성의 상태를 분석한다.
• 창의성, 인지, 구조적 이해 측면에서 인간과 AI의 음악 작곡 과정을 비교하여 유사점과 핵심적인 차이점을 밝힌다.
• 장기적인 시퀀스 모델링, 평가 프레임워크, 편향 분석 측면에서 AI 음악 생성 분야의 주요 연구 격차를 특정한다.
• 일반화된 AI 모델 개발, 향상된 사용자 인터페이스, 효율적인 음악 인코딩 등의 향후 연구 방향을 제안한다.
• 음악 분석과 생성을 통합된 다중모달 AI 시스템으로 통합하여 사용자 가이드된 공동 창작을 지원하는 일반화된 접근을 주장한다.

제안 방법

• 딥 러닝과 상징적 AI를 활용한 음악 생성 분야의 최근 발전을 체계적으로 검토하고 분석하며, RNN, Transformer, GNN 등의 아키텍처에 초점을 맞춘다.
• 음성과 상징적 표현을 융합하여 음악 이해 및 생성을 향상시키는 다중모달 딥 러닝 접근 방식을 검토한다.
• 기존 데이터셋, 모델, 인터페이스를 조사하여 그 한계와 편향에 중점을 둔다.
• 자동 카드 인식 및 오디오 악기 분류와 같은 관련 MIR 분야의 통찰을 통합하여 생성 모델의 조건화 및 제어를 향상시킨다.
• GATO와 같은 모델을 영감으로 삼아 상징적 규칙과 딥 러닝을 융합한 일반화된 음악 AI 프레임워크를 제안한다.
• 음악 품질 평가를 위한 기존 메트릭과 방법을 평가하며, 객관적 및 주관적 접근 방식을 포함하고 재현 가능성 문제를 규명한다.

실험 결과

연구 질문

• RQ1 구조, 창의성, 인지 측면에서 인간의 음악 작곡 과정과 AI 기반 음악 생성 과정은 어떻게 비교될 수 있는가?
• RQ2 AI 음악 생성 파이프라인에 관여하는 핵심 에이전트는 무엇이며, 그들의 편향은 최종 출력에 어떻게 영향을 미치는가?
• RQ3 왜 장기적인 음악 시퀀스 모델링은 여전히 과제로 남아 있으며, 이를 해결하기 위해 어떤 아키텍처나 인코딩 개선이 필요한가?
• RQ4 AI와의 공동 창작을 지원하기 위해 사용자 인터페이스와 인간-컴퓨터 상호작용는 어떻게 향상시킬 수 있는가?
• RQ5 분석과 생성을 동시에 수행할 수 있는 일반화된 다중모달 AI 시스템을 구축하기 위한 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 현재 AI 모델은 장기적이고 통일된 구성에 기초가 되는 고품질의 음악 모티프 생성에 어려움을 겪고 있어, 단기 시퀀스 생성 측면에서 심각한 격차가 있음을 시사한다.
• 음악의 장기적 모델링은 여전히 열려 있는 과제이며, 음고와 시간의 이중적 의존성으로 인해 더 정교한 아키텍처와 인코딩이 필요하다.
• AI로 생성된 음악에 대한 표준화되고 일반화된 평가 프레임워크가 부족하며, 기존 메트릭은 종종 음악적 품질이나 통일성을 포착하지 못한다.
• 기존 데이터셋과 모델은 서양 및 대중 음악 장르에 대한 편향을 보이며, 이는 AI 음악 시스템의 다양성과 일반화 능력을 제한한다.
• 상징적 AI 규칙(예: 카드 진행, 보이스 리딩)을 딥 러닝 모델과 융합하는 접근 방식이 구조적 통일성과 음악적 품질 향상에 유망한 전망을 보인다.
• 향후 AI 음악 시스템은 분석과 생성을 통합한 다중모달, 일반화된 아키텍처로 전환하여 사용자 조건화 및 공동 창작이 가능한 영리한 음악 창작을 가능하게 해야 한다.