[論文レビュー] A Comprehensive Survey for Evaluation Methodologies of AI-Generated Music

Zeyu Xiong, Weitao Wang+3 more|arXiv (Cornell University)|Aug 26, 2023

Music Technology and Sound StudiesComputer Science被引用数 3

ひとこと要約

本稿は、AIが生成する音楽の評価手法について包括的なサーベイを提示し、主観的、客観的、統合的アプローチに分類している。それぞれの長所と短所を分析し、人間の認識と計算的指標の間のギャップを埋めるために、統一的で解釈可能でジャンルに配慮した評価基準の必要性を強調している。

ABSTRACT

In recent years, AI-generated music has made significant progress, with several models performing well in multimodal and complex musical genres and scenes. While objective metrics can be used to evaluate generative music, they often lack interpretability for musical evaluation. Therefore, researchers often resort to subjective user studies to assess the quality of the generated works, which can be resource-intensive and less reproducible than objective metrics. This study aims to comprehensively evaluate the subjective, objective, and combined methodologies for assessing AI-generated music, highlighting the advantages and disadvantages of each approach. Ultimately, this study provides a valuable reference for unifying generative AI in the field of music evaluation.

研究の動機と目的

• AIが生成する音楽の評価手法を体系的に分類し分析すること。
• 音楽の品質と創造性を評価する際に、純粋に主観的または客観的評価手法に限る場合の限界を特定すること。
• さまざまなジャンルや応用分野において、AIが生成する音楽の評価に共通の合意や標準化が欠如している問題に対処すること。
• 主観的および客観的手法を統合することで、将来の評価に統一されたフレームワークを提言すること。
• 創造性の測定、指標の解釈可能性、ジャンルを越えた評価の公平性といった課題を浮き彫りにすること。

提案手法

• 評価手法を三つのカテゴリーに分類：主観的、客観的、統合的評価。
• 2015年から2023年までのAI音楽生成と評価に関する100件以上の既存研究をサーベイおよび分析。
• 制御された聴取環境と多様な聴取者プールを用いた、音楽聴取テストや視覚的分析を含む主観的評価手法の評価。
• モデルベースの指標（例：対数尤度）および音楽ドメイン固有の指標（例：音高の正確性、和声的複雑さ）を含む客観的指標のレビュー。
• 人間の判断と計算的指標を組み合わせることで信頼性と解釈可能性を向上させるハイブリッドアプローチの評価。
• ジャンル固有の音楽的特徴を反映させるために、評価基準をジャンル（例：クラシック対ポップ）にマッピングすること。

Figure 1 : Overview Structure of The Survey: AI Music Evaluation Methods

実験結果

リサーチクエスチョン

• RQ1 AI音楽生成における主観的、客観的、統合的評価手法の主な長所と短所は何か？
• RQ2 ジャンル固有の音楽的特徴は、評価指標の設計と選択にどのように影響を与えるか？
• RQ3 客観的指標が人間の音楽品質および創造性に関する認識とどの程度相関しているか？
• RQ4 多様なAI音楽生成モデルや応用分野において、評価基準を統一するにあたり、どのような主な課題があるか？
• RQ5 現在の評価フレームワークを用いて、AIが生成する音楽の創造性はどのように効果的に測定できるか？

主な発見

• 主観的評価は、音楽性、感情、創造性といった人間の認識を捉えるために不可欠であるが、リソースを多く消費し、再現性に欠ける。
• 対数尤度や構造的類似性といった客観的指標は計算効率が良いが、音楽品質に関する人間の判断と相関しないことが多い。
• ジャンル固有の評価は不可欠である：クラシック音楽では和声的複雑さの評価が求められ、ポップ音楽ではメロディアスさやキャッチーな部分が重視される。
• 主観的人間の認識と客観的計算的指標の間に顕著なギャップが存在し、ハイブリッド評価フレームワークの導入が不可欠である。
• 多くの客観的指標は、抽象的な数学的構造に基づいているため、音楽的理解とは直接関連しないことが多く、解釈可能性が低い。
• 創造性（新規性、独自性、価値）の測定は依然として大きな課題であり、現在の手法では感情的・文化的な重要性を十分に捉えていない。