[論文レビュー] LP-MusicCaps: LLM-Based Pseudo Music Captioning

SeungHeon Doh, Keunwoo Choi+2 more|arXiv (Cornell University)|Jul 31, 2023

Music and Audio Processing被引用数 4

ひとこと要約

本稿では、音楽タグデータを用いて大規模言語モデル（LLM）をファインチューニングすることで、高品質で文法的に正しいキャプションを生成する、大規模な疑似音楽キャプションデータセットであるLP-MusicCapsを提案する。この手法は、ゼロショットおよびトランスファーラーニング設定で最先端の性能を達成し、BERT-Scoreおよびn-gramメトリクスにおいて教師ありベースラインを上回り、一般化性能の向上と新規キャプション生成の両方を示している。

ABSTRACT

Automatic music captioning, which generates natural language descriptions for given music tracks, holds significant potential for enhancing the understanding and organization of large volumes of musical data. Despite its importance, researchers face challenges due to the costly and time-consuming collection process of existing music-language datasets, which are limited in size. To address this data scarcity issue, we propose the use of large language models (LLMs) to artificially generate the description sentences from large-scale tag datasets. This results in approximately 2.2M captions paired with 0.5M audio clips. We term it Large Language Model based Pseudo music caption dataset, shortly, LP-MusicCaps. We conduct a systemic evaluation of the large-scale music captioning dataset with various quantitative evaluation metrics used in the field of natural language processing as well as human evaluation. In addition, we trained a transformer-based music captioning model with the dataset and evaluated it under zero-shot and transfer-learning settings. The results demonstrate that our proposed approach outperforms the supervised baseline model.

研究の動機と目的

• 音楽キャプションデータセットの不足、特に大規模かつ公開可能なデータセットの不足が、モデルの訓練および評価を制限している問題に対処する。
• MusicCapsのような既存のデータセットは小規模（5,521対）であり、強力なモデルの訓練にスケーラブルでないという制限を克服する。
• 高価な人的アノテーションに代わる、コスト効率が良くスケーラブルな方法で、高品質な音楽キャプションを生成する。
• 意味的整合性、文法的正しさ、語彙の豊かさを保証するための体系的な評価フレームワークを構築する。
• 教師ありデータで訓練されたモデルと比較して、LLMによって生成されたキャプションで事前学習されたモデルが、ゼロショットおよびトランスファーラーニングの状況でもより優れた一般化性能を示すことを実証する。

提案手法

• 音楽タグを自然言語文に変換するプロンプトを用いたインstructチューニングにより、大規模言語モデル（LLM）をファインチューニングする。
• プロンプトテンプレートを用いる：'これらのタグで音楽を説明してください：[tag1, tag2, ...]' とすることで、LLMが一貫性のある記述的キャプションを生成するように誘導する。
• 大規模な音楽タグデータセット（例：MagnaTagATune や MSD）を用いてLLMを訓練し、約220万件の疑似キャプションと50万件の音声クリップのペairを生成する。
• 意味的整合性、文法的正しさ、語彙の多様性を保証するための体系的なフィルタリングプロセスを適用する。
• LP-MusicCapsデータセットを用いて、教師ありファインチューニングおよびゼロショット推論により、トランスフォーマー型音楽キャプションモデルを訓練する。
• モデルアーキテクチャにおいて、音声表現（メルスペクトログ램）と生成されたテキストトークンをアライメントさせるために、クロスアテンション機構を用い、自己回帰的次トークン予測を最適化する。

Figure 1 : The generation process of pseudo captions by feeding a large language model with instructions and manually-annotated labels.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、音楽タグから意味的・文法的に整合性のある高品質な自然な音楽キャプションを効果的に生成できるか？
• RQ2 LLMを用いて生成された大規模な疑似音楽キャプションデータセットは、既存の小規模な人的アノテーション済みデータセットを上回る性能を、下流の音楽キャプションタスクで示せるか？
• RQ3 LLMによって生成されたキャプションで事前学習されたモデルは、教師ありベースラインと比較して、ゼロショットおよびトランスファーラーニング設定でどの程度一般化性能を発揮するか？
• RQ4 語彙の多様性、新規性、意味的関連性の観点から、LLMによって生成されたキャプションは人的アノテーション済キャプションと比較してどの程度優れているか？
• RQ5 LLMの使用により、音楽キャプションのデータ収集にかかるコストと時間は削減可能であり、モデル性能を維持または向上させることができるか？

主な発見

• LP-MusicCapsデータセットには約220万件のキャプション-音声ペアが含まれており、音楽キャプションのための訓練データの規模が著しく拡大された。
• LP-MusicCapsで訓練されたモデルは、BERT-Scoreおよびほとんどのn-gramメトリクスにおいて、教師ありベースラインを上回り、特にゼロショットおよびトランスファーラーニングの状況で顕著な性能向上を示している。
• LLM生成キャプションで事前学習されたモデルは、教師ありベースラインと比較してBERT-Scoreで顕著な向上を示しており、単なる語の一致ではなく、より良い意味的理解が得られていることを示している。
• モデルは優れた一般化性能を示しており、高いNovel cスコアを達成しており、学習データを記憶するのではなく、未確認の新しいキャプションを生成できることを示している。
• LLMを用いた疑似キャプション生成アプローチにより、高価な人的アノテーションデータへの依存が軽減されつつ、強固な音楽キャプションモデルの訓練に適した高品質な出力を維持している。
• 体系的な評価により、LLMによって生成されたキャプションが文法的に正しく、入力タグと意味的に整合しており、語彙的にも豊富であることが確認された。

Figure 2 : A-vs-B test results. Each method is compared to ground truth in terms of having more true positives and fewer false positives. The proposed methods (b, c, d, e) show comparable win+tie performance to ground truth.