[논문 리뷰] A Review of Intelligent Music Generation Systems

Lei Wang, Ziyi Zhao외 4명|arXiv (Cornell University)|2022. 11. 16.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 딥러닝과 룰 기반 모델을 사용한 상징 음악 생성에 초점을 맞춘 최신 지능형 음악 생성 시스템에 대한 종합적인 리뷰를 제공한다. 생성 기법 분석, 모델 성능 평가, 동양 및 서양 음악 전통 간 비교, 다중모달 생성, 정서 표현 및 인간-AI 협업을 통한 음악 창작 분야의 미래 트렌드를 규명한다.

ABSTRACT

With the introduction of ChatGPT, the public's perception of AI-generated content (AIGC) has begun to reshape. Artificial intelligence has significantly reduced the barrier to entry for non-professionals in creative endeavors, enhancing the efficiency of content creation. Recent advancements have seen significant improvements in the quality of symbolic music generation, which is enabled by the use of modern generative algorithms to extract patterns implicit in a piece of music based on rule constraints or a musical corpus. Nevertheless, existing literature reviews tend to present a conventional and conservative perspective on future development trajectories, with a notable absence of thorough benchmarking of generative models. This paper provides a survey and analysis of recent intelligent music generation techniques, outlining their respective characteristics and discussing existing methods for evaluation. Additionally, the paper compares the different characteristics of music generation techniques in the East and West as well as analysing the field's development prospects.

연구 동기 및 목표

• 최근 지능형 음악 생성 시스템 분야에서의 주요 진전, 특히 상징 음악 생성에 대한 체계적인 리뷰를 제공하기 위해.
• 음악 창작 분야에서 기존 생성 모델 및 평가 방법의 강점과 약점을 분석하기 위해.
• 동양 및 서양 음악 전통에서의 음악 생성 발전 궤적을 비교하기 위해.
• 다중모달 생성, 정서 표현, 인간-AI 상호작용과 같은 핵심 과제와 향후 연구 방향을 규명하기 위해.
• 이전 문헌에서 AI 음악 생성 분야에 대한 종합적인 벤치마킹과 표준화된 평가의 부족을 보완하기 위해.

제안 방법

• 딥러닝, 룰 기반 시스템, 진화 계산 기반의 생성 방법에 따라 음악 생성 시스템을 분류한다.
• MIDI 이벤트, 피아노롤, 악보, 오디오 등 주요 음악 표현 방식을 검토하며, 상징 음악 모델링에 활용한다.
• 음악 생성 연구에서 사용되는 평가 지표 및 벤치마크를 분석하고, 표준화된 데이터셋과 평가 프로토콜의 필요성을 강조한다.
• 텍스트, 음악, 영상 등을 통합하는 다중모달 생성 접근법을 분석하며, 교차 모달 특징 융합에 초점을 맞춘다.
• 정서 컴퓨팅과 로봇공학의 통합을 통해 정서적으로 표현력 있는 음악 생성과 상호작용 가능한 연주를 탐색한다.
• 미래의 딥러닝 기반 음악 생성 시스템의 핵심 설계 목표로 해석 가능성과 제어 가능성의 중요성을 평가한다.

실험 결과

연구 질문

• RQ1 현대 상징 음악 생성 시스템에서 주로 사용되는 기법과 아키텍처는 무엇인가?
• RQ2 동양 및 서양 음악 전통의 음악 생성 모델은 표현 방식, 구조, 문화적 통합 측면에서 어떻게 다를까?
• RQ3 음악 생성 모델 평가의 현재 한계는 무엇이며, 표준화된 벤치마크는 신뢰성 향상에 어떻게 기여할 수 있는가?
• RQ4 정서 표현은 AI 생성 음악에서 어떤 역할을 하는가? 정서 컴퓨팅은 음악의 진정성 향상에 어떻게 기여할 수 있는가?
• RQ5 다중모달 생성 및 로봇 연주와 같은 미래 방향 중 지능형 음악 창작 발전에 가장 유망한 분야는 무엇인가?

주요 결과

• 장기적인 구조적 의존성을 포착하고 해석 가능성을 보장하는 딥 생성 모델의 발전 덕분에 상징 음악 생성 분야가 크게 발전하였다.
• 현재 시스템은 단성 및 다성 멜로디 생성에 강점을 보이지만, 복잡한 문화적으로 특화된 민족적 악기의 생성에는 여전히 도전 과제를 안고 있다.
• 음악, 가사, 영상 동시 생성을 포함한 다중모달 음악 생성은 향후 핵심 방향이지만, 고도화된 교차 모달 특징 융합이 필요하다.
• AI 생성 음악의 정서 표현은 아직 미발전 단계에 있으며, 대부분의 시스템이 인간 중심의 정서 모델링이 아닌 신호 기반 분석에 의존한다.
• 딥 네트워크의 해석 가능성과 제어 가능성은 향후 음악 창작 분야에서의 실용적 적용을 위한 핵심 우선순위로 부상하고 있다.
• 표준화된 데이터 포맷(MIDI, 피아노롤 등), 평가 지표, 벤치마크 데이터셋은 분야 내 신뢰성 있는 비교와 발전을 위해 필수적이다.