[논문 리뷰] Artificial Musical Intelligence: A Survey

Elad Liebman, Peter Stone|arXiv (Cornell University)|2020. 06. 17.

Music and Audio Processing참고 문헌 278인용 수 6

한 줄 요약

이 종합 검토에서는 인공음악지능(AMI)을 음악 인지, 인지 및 생성을 통합하는 다차원 도메인으로 정의하며, 음악지능 구성요소의 분류 체계를 제안하고 실시간으로 음악을 인지하고 추론하고 창작할 수 있는 통합형 엔드투엔드 AI 시스템의 필요성을 제기한다. 문화적으로 의미 있는 음악 상호작용을 위한 대규모 음성 데이터베이스 및 인간 중심 평가의 중요성을 강조한다.

ABSTRACT

Computers have been used to analyze and create music since they were first introduced in the 1950s and 1960s. Beginning in the late 1990s, the rise of the Internet and large scale platforms for music recommendation and retrieval have made music an increasingly prevalent domain of machine learning and artificial intelligence research. While still nascent, several different approaches have been employed to tackle what may broadly be referred to as "musical intelligence." This article provides a definition of musical intelligence, introduces a taxonomy of its constituent components, and surveys the wide range of AI methods that can be, and have been, brought to bear in its pursuit, with a particular emphasis on machine learning methods.

연구 동기 및 목표

• 인공지능 내에서 '음악지능'의 개념을 정의하고 형식화하여 그 복잡성과 다차원성을 다루는 것.
• 청각, 추상화, 모델링, 생성을 포함한 음악지능의 기초가 되는 구성요소들을 포괄하는 분류 체계를 수립하는 것.
• 음악 분석 및 창작에 적용된 기존의 AI 및 기계학습 기법들을 조사하고 통합성과 확장성의 부족을 부각하는 것.
• 이미지 인식 분야에서 ImageNet이 차지하는 바와 유사하게, 진전의 기초가 되는 대규모, 풍부하게 주석이 달린 음성 벤치마크를 조성할 것을 주장하는 것.
• 인간 음악가와의 실시간 피드백 루프 협업을 통해 음악을 인지하고 추론하고 반응하는 상호작용형 실시간 AI 음악 시스템의 개발을 촉진하는 것.

제안 방법

• 비트, 테너, 톤, 코드, 간격, 음량, 템포, 플레이리스트 등을 기초 구성요소로 포함하는 음악지능 구성요소의 체계적 분류 체계를 제안한다.
• 규칙 기반 작곡, 마르코프 체인, 확률적 모델링, 문법 기반 시스템, 진화 알고리즘을 포함한 역사적 및 현대적 AI 음악 접근법을 검토한다.
• 음악정보검색(MIR) 분야의 현대 기계학습 응용 사례를 분석하며, 장르 분류, 화성 분석, 멜로디 세그먼테이션, 연주 모델링 등을 다룬다.
• 인간-AI 음악 협업 환경에서 인지, 추론, 실시간 음악 생성을 통합하는 엔드투엔드 AI 시스템의 개념을 도입한다.
• 주관적인 인상 외에도 객관적인 평가를 가능하게 하기 위해 전문가 패anel과 커뮤니티 기반 평가를 조합한 이중 평가 프레임워크를 제안한다.
• 인간의 청각적 반응과 정서적 반응에 부합하는 AI 설계를 위해 인지과학 및 음악인지 분야의 연구 결과를 통합할 것을 주장한다.

실험 결과

연구 질문

• RQ1 '인공지능 내에서 '음악지능'이란 무엇이며, 이를 측정 가능한 구성요소로 체계적으로 정의하고 분해할 수 있는가?在这
• RQ2 기존의 AI 및 기계학습 기법들이 음악 분석 및 창작에 체계적으로 분류되고 적용될 수 있는가?
• RQ3 인간 음악가와 실시간 협업이 가능한 엔드투엔드 AI 시스템을 구축할 때의 주요 과제는 무엇인가?
• RQ4 ImageNet과 유사하게 대규모, 풍부하게 주석이 달린 음성 데이터셋을 개발하여 음악 AI 연구의 공통 벤치마크로 활용할 수 있는가?
• RQ5 예술적, 청각적, 인지적 차원에서 AI가 생성한 음악을 객관적으로 비교하기 위해 필요한 평가 기준과 평가 프레임워크는 무엇인가?

주요 결과

• 음악지능은 청각, 인지, 창작적 생성을 통합하는 다차원적 개념이며, 여러 AI 하위분야 간의 통합이 필요하다.
• 음악정보검색과 알고리즘 작곡 분야에서의 상당한 진전에도 불구하고, 대부분의 시스템은 功能적으로 분리되어 있으며 종단 간 일관성이 결여되어 있다.
• ImageNet과 유사한 복잡한 주석이 달린 대규모 음성 수준의 벤치마크가 부재한 것이 음악 AI 발전을 가로막는 주요 장애물이다.
• 현재 AI가 생성한 음악의 평가는 주로 주관적 또는 집단적 인상에 의존하고 있어, 더 철저하고 전문가 검증이 내재된 다중 모odal 평가 프로토콜이 필요하다.
• 음악 AI와 인지과학을 융합하면 인간 중심의 시스템을 개발하고 인간과 인공지능의 음악 인지에 대한 이해를 심화시킬 수 있다.
• 실시간 상호작용 기반 음악 생성 시스템은 AI의 인지, 모델링, 예측, 의사결정 분야에서 혁신을 이끌 수 있는 통합적 과제이다.