[論文レビュー] The Song Describer Dataset: a Corpus of Audio Captions for Music-and-Language Evaluation

Ilaria Manco, Benno Weck+11 more|arXiv (Cornell University)|Nov 16, 2023

Music and Audio Processing被引用数 6

ひとこと要約

Song Describer Dataset (SDD) は、706 首の公開ライセンス付き音楽トラック（各 2 分間）の、1,106 件の高品質で自然な言語による説明文を含むクラウドソーシング型コーパスであり、音楽と言語のモデルの標準化された評価を目的としている。このデータセットは、音楽の説明文作成、テキストから音楽生成、音楽と言語の検索の分野におけるクロスデータセットベンチマークを可能にし、ドメイン外評価の重要性を強調するとともに、プライベートまたは合成データへの依存を軽減する。

ABSTRACT

We introduce the Song Describer dataset (SDD), a new crowdsourced corpus of high-quality audio-caption pairs, designed for the evaluation of music-and-language models. The dataset consists of 1.1k human-written natural language descriptions of 706 music recordings, all publicly accessible and released under Creative Common licenses. To showcase the use of our dataset, we benchmark popular models on three key music-and-language tasks (music captioning, text-to-music generation and music-language retrieval). Our experiments highlight the importance of cross-dataset evaluation and offer insights into how researchers can use SDD to gain a broader understanding of model performance.

研究の動機と目的

• 音楽と言語のモデルを評価するための、公開可能で高品質な音声-説明文データセットの不足に対処すること。
• モデル評価に偏りやデータ漏洩をもたらす可能性のある、プライベートまたは合成データへの依存を減らすこと。
• 実世界の音楽と言語のペアを包括的かつ代表的かつ持続可能に提供することで、標準化されたクロスデータセット評価を可能にすること。
• ドメイン外評価を通じて、強固で一般化可能な音楽と言語のモデルの開発を支援すること。
• 将来的なデータ寄付やデータセット拡張を可能にする持続的でコミュニティ主導のプラットフォームを提供すること。

提案手法

• 本データセットは、多様な地理的・言語的背景を持つ非専門家のボランティアを対象としたオープンソースのオンラインアノテーションプラットフォームを介して収集された。
• 参加者は MTG-Jamendo データセットの 2 分間の音楽トラックを聴き、楽器、ジャンル、雰囲気、スタイルなどの音楽的要素に焦点を当てた単一文の自然言語説明文を記述した。
• すべての音声ファイルはクリエイティブ・コモンズのライセンスで公開されており、永続的にホスティングされているため、データの可用性が保証され、データドリフトや喪失のリスクが低減される。
• データセットには、1 トラックあたり複数の説明文が含まれるトラックが 25% 含まれており、BLEU や METEOR、CIDEr といった自動説明文評価指標を用いた評価が可能である。
• データセットは CC BY-SA 4.0 ライセンスでリリースされており、音声ファイルは元のライセンスを維持している。Zenodo にホスティングされており、永続的アクセスのための DOI を有している。
• 将来的な寄付は、公開の Web インターフェースを通じて可能であり、将来的なバージョンは検証を経て、GitHub および Zenodo を介して更新版に統合される可能性がある。

実験結果

リサーチクエスチョン

• RQ1 音楽と言語のタスクにおけるモデルのパフォーマンスは、特にドメイン外データを用いた場合、異なる評価データセットでどのように変化するか？
• RQ2 Song Describer Dataset は、プライベートまたは合成ベンチマークと比較して、音楽と言語のモデル評価の信頼性と一般化性能をどの程度向上させることができるか？
• RQ3 複数の人がアノテートした説明文が含まれる多様で現実世界のデータセットに、自動説明文評価指標はどのように機能するか？
• RQ4 データの永続性とライセンスは、音楽と言語の評価データセットの再現性と長期的利用可能性にどのような影響を与えるか？
• RQ5 コミュニティ主導のクラウドソーシングによるデータ収集は、厳密なモデル評価に適した高品質で代表的な音声-説明文ペアを生成できるか？

主な発見

• Song Describer Dataset には、706 首の音楽トラックの 1,106 件の人が書いた説明文が含まれており、95% のトラックが 2 分間の長さである。これは、MusicCaps や YT8M-MusicTextClips よりもはるかに長い音声セグメントを提供している。
• データセットは CC BY-SA 4.0 ライセンスで公開されており、すべての音声ファイルもオープンにライセンスされており、Zenodo にホスティングされている。これにより、長期的なデータの持続可能性とアクセス可能性が保証されている。
• 25% のトラックに、異なるアノテーターが作成した複数の説明文が含まれており、BLEU や METEOR、CIDEr といった標準的な自動説明文評価指標を用いた堅牢な評価が可能である。
• SDD は、AudioSet や YouTube に基づく音声に依存する既存のベンチマークで一般的に見られるデータ漏洩のリスクを軽減している。SDD は、ライセンスが確認済みの MTG-Jamendo データセットからの音楽を使用しているためである。
• 著者らは、SDD を用いたクロスデータセット評価が、特定のトレーニングデータ分布に過剰適合するのを防ぎ、より信頼性が高く一般化可能なモデルパフォーマンスの評価を可能にすることを示している。
• 将来的な寄付は、公開の Web インターフェースを通じて支援されており、GitHub および Zenodo を介したバージョン管理と更新による、明確なコミュニティ主導の拡張とアップデートの道筋が確保されている。