[논문 리뷰] A Comprehensive Survey for Evaluation Methodologies of AI-Generated Music

Zeyu Xiong, Weitao Wang외 3명|arXiv (Cornell University)|2023. 08. 26.

Music Technology and Sound StudiesComputer Science인용 수 3

한 줄 요약

이 논문은 인공지능에 의해 생성된 음악의 평가 방법에 대한 종합적인 설문 조사로, 접근 방식을 주관적, 객관적, 병합된 방법으로 분류한다. 각 방법의 강점과 한계를 분석하며, 인간의 인식과 계산적 지표 사이의 격차를 메우기 위해 통합적이고 해석 가능하며 장르 인지 평가 기준이 필요한 필요성을 강조한다.

ABSTRACT

In recent years, AI-generated music has made significant progress, with several models performing well in multimodal and complex musical genres and scenes. While objective metrics can be used to evaluate generative music, they often lack interpretability for musical evaluation. Therefore, researchers often resort to subjective user studies to assess the quality of the generated works, which can be resource-intensive and less reproducible than objective metrics. This study aims to comprehensively evaluate the subjective, objective, and combined methodologies for assessing AI-generated music, highlighting the advantages and disadvantages of each approach. Ultimately, this study provides a valuable reference for unifying generative AI in the field of music evaluation.

연구 동기 및 목표

• 인공지능에 의해 생성된 음악의 평가 방법론을 체계적으로 분류하고 분석하기.
• 음악 품질과 창의성을 평가하는 데 있어 순수 주관적 또는 객관적 평가 방법의 한계를 규명하기.
• 다양한 장르와 애플리케이션 간에 AI에 의해 생성된 음악 평가에 대한 공감대 부족과 표준화 부족 문제를 해결하기.
• 주관적 및 객관적 방법을 통합하여 향후 평가를 위한 통합 프레임워크를 제안하기.
• 창의성 측정의 과제, 지표의 해석 가능성, 장르 간 평가의 공정성 문제를 부각하기.

제안 방법

• 평가 방법론을 주관적, 객관적, 병합된 평가로 세 부류로 분류하기.
• 2015년부터 2023년까지의 AI 음악 생성 및 평가 관련 100건 이상의 기존 연구를 설문 조사하고 분석하기.
• 통제된 听음 환경과 다양한 청취자 풀을 활용한 음악 청취 테스트 및 시각적 분석을 포함한 주관적 방법 평가하기.
• 모델 기반 지표(예: 로그우도)와 음악 도메인 전용 지표(예: 음정 정확도, 화성 복잡도)를 검토하기.
• 인간의 판단과 계산적 지표를 융합하여 신뢰성과 해석 가능성을 향상시키는 융합적 접근 평가하기.
• 장르별 평가 기준(예: 고전 음악 대비 팝 음악)을 맵핑하여 장르 특수 음악적 특성 반영하기.

Figure 1 : Overview Structure of The Survey: AI Music Evaluation Methods

실험 결과

연구 질문

• RQ1 AI 음악 생성에서 주관적, 객관적, 병합 평가 방법의 주요 강점과 약점은 무엇인가?
• RQ2 장르 특수 음악적 특성은 평가 지표의 설계 및 선택에 어떻게 영향을 미치는가?
• RQ3 객관적 지표가 인간의 음악 품질 및 창의성 인식과 어느 정도 상관이 있는가?
• RQ4 다양한 AI 음악 생성 모델과 응용 분야 간 평가 기준을 통합하는 데 있어 핵심 과제는 무엇인가?
• RQ5 현재 평가 프레임워크를 활용해 AI에 의해 생성된 음악의 창의성을 효과적으로 측정할 수 있는가?

주요 결과

• 주관적 평가는 음악성, 감정, 창의성과 같은 인간의 인식을 포착하는 데 필수적이지만, 자원 소모가 크고 재현성이 떨어진다.
• 로그우도 및 구조적 유사성과 같은 객관적 지표는 계산 효율성이 높지만, 종종 인간의 음악 품질 판단과 상관이 없다.
• 장르 특수 평가는 필수적이다: 고전 음악은 화성 복잡도 평가가 필요하고, 팝 음악은 멜로디의 기억에 잘 오르는 특성과 후크를 중시한다.
• 주관적 인간 인식과 객관적 계산적 지표 사이에 상당한 격차가 존재하므로, 융합 평가 프레임워크가 필요하다.
• 많은 객관적 지표의 해석 가능성은 낮으며, 이는 음악 이해와 직접적인 관련이 없는 추상적인 수학적 구성 요소에 기반하기 때문이다.
• 창의성 측정은 여전히 주요 과제이다. 현재 방법은 감정적 또는 문화적 의미를 충분히 반영하지 못한다.