[논문 리뷰] Applications and Advances of Artificial Intelligence in Music Generation:A Review

Yanxu Chen, Huang Lin-shu외 1명|arXiv (Cornell University)|2024. 09. 03.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 AI 기반 음악 생성에 대해 체계적으로 검토하며, 기호적, 음향적 및 하이브리드 접근법, 주요 모델과 데이터셋, 평가 방법, 그리고 도메인 간 응용을 상세히 다루고 도전과제와 향후 방향에 대해 논의한다.

ABSTRACT

In recent years, artificial intelligence (AI) has made significant progress in the field of music generation, driving innovation in music creation and applications. This paper provides a systematic review of the latest research advancements in AI music generation, covering key technologies, models, datasets, evaluation methods, and their practical applications across various fields. The main contributions of this review include: (1) presenting a comprehensive summary framework that systematically categorizes and compares different technological approaches, including symbolic generation, audio generation, and hybrid models, helping readers better understand the full spectrum of technologies in the field; (2) offering an extensive survey of current literature, covering emerging topics such as multimodal datasets and emotion expression evaluation, providing a broad reference for related research; (3) conducting a detailed analysis of the practical impact of AI music generation in various application domains, particularly in real-time interaction and interdisciplinary applications, offering new perspectives and insights; (4) summarizing the existing challenges and limitations of music quality evaluation methods and proposing potential future research directions, aiming to promote the standardization and broader adoption of evaluation techniques. Through these innovative summaries and analyses, this paper serves as a comprehensive reference tool for researchers and practitioners in AI music generation, while also outlining future directions for the field.

연구 동기 및 목표

• 기호적, 음향적, 하이브리드 AI 음악 생성 접근법을 분류하고 비교하는 포괄적 프레임워크를 제공한다.
• AI 음악 생성에서 모델, 데이터셋, 평가 방법에 관한 현재 문헌을 고찰한다.
• 도메인 간 및 실시간 상호작용에서 AI 생성 음악의 실용적 응용을 분석한다.
• 음악 품질 평가의 도전과제를 식별하고 표준화 및 향후 연구 방향을 제안한다.

제안 방법

• 기호적, 음향적, 하이브리드 생성 방법을 분류하는 체계적 프레임워크를 개발한다.
• 대표 모델(GANs, Transformers, VAEs, diffusion)과 그 능력/한계를 고찰한다.
• 일반적으로 사용되는 데이터셋과 모델 학습에서의 역할을 요약한다.
• 음악 품질 평가의 방법과 평가의 도전과제를 논의한다.
• 하이브리드 기호-음향 프레임워크 및 cascaded diffusion/hierarchical 접근법을 탐구한다.
• 표준화 및 더 넓은 채택을 위한 향후 연구 방향을 개관한다.

Figure 1: The core logic of our review

실험 결과

연구 질문

• RQ1 음악 생성에 사용되는 주요 AI 접근법(기호적, 음향적, 하이브리드)은 무엇이며 상대적 강점/약점은 무엇인가?
• RQ2 주로 사용되는 데이터셋과 평가 방법은 무엇이며, 그것들이 생성된 음악 품질에 어떤 영향을 미치는가?
• RQ3 AI 생성 음악의 실용적 응용 도메인과 그 요구사항은 무엇인가?
• RQ4 음악 품질, 일관성, 음색 제어의 핵심 도전과제는 무엇이며, 이를 다루는 향후 방향은 무엇인가?

주요 결과

• AI 음악 생성은 기호적(MIDI/piano rolls)에서 음향으로, 그리고 점차 더 하이브리드 모델로 진전하고 있다.
• Transformers, GANs, 및 diffusion 모델은 구조화되고 다양하며 고품질의 음악 생성을 중심으로 작동하며, diffusion 모델은 고충실도 음향을 가능하게 한다.
• 하이브리드 프레임워크는 기호적 구조와 풍부한 음향 음색을 결합해 일관성과 표현력을 향상시킨다.
• 대규모 데이터셋과 자기지도 학습 또는 계층적 학습은 모델의 견고성을 높이지만 계산 및 평가 도전에 직면한다.
• 음악 품질 평가가 여전히 주요 도전과제로 남아 표준화된 방법과 폭넓은 평가 프레임워크의 필요성을 촉구한다.
• 실시간 상호작용, 교육, 의료, 콘텐츠 제작 등 광범위한 응용이 존재한다.

Figure 2: Timeline of AI Music Generation Development