[論文レビュー] Foundation Models for Music: A Survey

Yinghao Ma, Anders Øland+40 more|arXiv (Cornell University)|Aug 26, 2024

Music Technology and Sound Studies被引用数 6

ひとこと要約

音楽の基盤モデルに関する包括的な調査で、表現、事前学習、マルチモーダル学習、データセット、評価、応用、倫理、今後の方向性と社会的影響を網羅します。

ABSTRACT

In recent years, foundation models (FMs) such as large language models (LLMs) and latent diffusion models (LDMs) have profoundly impacted diverse sectors, including music. This comprehensive review examines state-of-the-art (SOTA) pre-trained models and foundation models in music, spanning from representation learning, generative learning and multimodal learning. We first contextualise the significance of music in various industries and trace the evolution of AI in music. By delineating the modalities targeted by foundation models, we discover many of the music representations are underexplored in FM development. Then, emphasis is placed on the lack of versatility of previous methods on diverse music applications, along with the potential of FMs in music understanding, generation and medical application. By comprehensively exploring the details of the model pre-training paradigm, architectural choices, tokenisation, finetuning methodologies and controllability, we emphasise the important topics that should have been well explored, like instruction tuning and in-context learning, scaling law and emergent ability, as well as long-sequence modelling etc. A dedicated section presents insights into music agents, accompanied by a thorough analysis of datasets and evaluations essential for pre-training and downstream tasks. Finally, by underscoring the vital importance of ethical considerations, we advocate that following research on FM for music should focus more on such issues as interpretability, transparency, human responsibility, and copyright issues. The paper offers insights into future challenges and trends on FMs for music, aiming to shape the trajectory of human-AI collaboration in the music realm.

研究の動機と目的

• 基盤モデル（FMs）の定義と音楽への適用方法を要約する。
• FM開発に適した音楽表現とモダリティを分析する。
• 音楽FMsの事前学習、トークナイゼーション、ファインチューニング、アーキテクチャをレビューする。
• 音楽FM研究のデータセット、評価方法、現在の課題を調査する。
• 音楽におけるFM研究に影響を与える倫理的・社会的・著作権の考慮事項を論じる。

提案手法

• 音楽の単一モダリティFMとマルチモーダルFMのパラダイムを特徴づける。
• 音楽における自己教師あり学習と生成的事前学習のアプローチを論じる。
• オーディオ、記号表現、ハイブリッドなどのトークナイゼーション戦略とモデルアーキテクチャを概要化する。
• 音楽FMsに関連するインストラクションチューニング、文脈内学習、スケーリング法則を検討する。
• 音楽理解と生成のデータセットと評価戦略を強調する。
• 音楽FMsにおける将来の改善点と倫理的配慮を特定する。

実験結果

リサーチクエスチョン

• RQ1 音楽における基盤モデルにとって最も効果的な表現とモダリティは何か？
• RQ2 事前学習、トークナイゼーション、ファインチューニングは音楽の理解と生成能力を最大化するように設計できるか？
• RQ3 どのデータセットと評価プロトコルが音楽の基盤モデルを最も支援するか？
• RQ4 FMベースの音楽技術の倫理的・法的・社会的影響は何か？
• RQ5 音楽基盤モデルはタスク間でどのようにスケール、収束、出現的能力を示すか？

主な発見

• 基盤モデルは大量のラベルなしデータセットで自己教師付き事前学習を活用することで、音楽のデータ不足と注釈コストに対処する。
• FMベースのアプローチは、理解と生成において未見の音楽構造・ジャンル・楽器への一般化を改善できる。
• 音楽の理解・生成・療法・マルチモーダル相互作用におけるFMの可能性は高いが、長いシーケンスのモデリングとインストラクションチューニングへの配慮が必要。
• 現在の音楽FM研究は多くの表現形式（特に波形以外・MIDI以外の記号形式）とテキスト・視覚情報とのマルチモーダル統合を十分に探究していない。
• 解釈性・透明性・著作権の懸念を含む倫理的配慮は、音楽における責任あるFM展開の中心となる。
• この調査は標準化されたデータセット・堅牢な評価プロトコルの必要性と、文化遺産や権利問題の適切な取り扱いを強調している。