[論文レビュー] LLark: A Multimodal Instruction-Following Language Model for Music

Josh Gardner, Simon Durand+2 more|arXiv (Cornell University)|Oct 11, 2023

Music and Audio Processing被引用数 4

ひとこと要約

LLARK は、事前学習された生成的音声エンコーダーと凍結された言語モデルを、学習可能なプロジェクションヘッドを介して統合することで、多様なオープンソース音楽データセット上でエンドツーエンドの指示微調整が可能なマルチモーダル指示従い型言語モデルである。音楽理解、キャプション生成、推論タスクにおいて最先端の性能を達成し、生成された応答について人間の合意が高く得られている。

ABSTRACT

Music has a unique and complex structure which is challenging for both expert humans and existing AI systems to understand, and presents unique challenges relative to other forms of audio. We present LLark, an instruction-tuned multimodal model for \emph{music} understanding. We detail our process for dataset creation, which involves augmenting the annotations of diverse open-source music datasets and converting them to a unified instruction-tuning format. We propose a multimodal architecture for LLark, integrating a pretrained generative model for music with a pretrained language model. In evaluations on three types of tasks (music understanding, captioning, reasoning), we show that LLark matches or outperforms existing baselines in music understanding, and that humans show a high degree of agreement with its responses in captioning and reasoning tasks. LLark is trained entirely from open-source music data and models, and we make our training code available along with the release of this paper. Additional results and audio examples are at https://bit.ly/llark, and our source code is available at https://github.com/spotify-research/llark .

研究の動機と目的

• 音楽理解のためのマルチタスクで指示微調整されたモデルが、多様な音楽的属性やタスクに一般化できるようにする。
• ノイズが多く、アラインメントの取れないオープンソース音楽データセットを、豊富な音楽的アノテーションを備えた統一された指示微調整フォーマットに変換するスケーラブルなエンドツーエンドパイプラインを開発する。
• 事前学習済みのコンponentと学習可能なプロジェクションモジュールを用いて、音声とテキストの表現を効果的に統合するマルチモーダルアーキテクチャを設計する。
• 分類、キャプション生成、推論の複数の音楽タスクにおいてモデルを評価し、広範な一般化性能と人間の判断に整合した出力を示す。
• トレーニングコードとモデル重みを公開することで、オープンソース音楽AI分野における再現可能性とさらなる研究を促進する。

提案手法

• モデルは、凍結された事前学習済み音声エンコーダー（例：音楽用）と凍結された事前学習済み言語モデルを組み合わせ、音声埋め込みを言語モデルのトークン空間にあわせるための学習可能なプロジェクションヘッドを有するマルチモーダルアーキテクチャを採用する。
• トレーニングデータは、既存のオープンソース音楽データセットに、音楽理解（例：キー、テンポ）、キャプション生成、推論クエリなどのタスク固有の指示を追加することで構築される。
• 音声入力と多様なテキストクエリの間の整合性を保証する構造化されたレシピを用いて指示を生成することで、タスク間での一般化性能を向上させる。
• 言語モデルヘッドにおける次トークン予測の損失を計算することで、エンドツーエンドの指示微調整が実施される。
• データ拡張には、指示テンプレートに音楽的メタデータ（例：キー、BPM、楽器編成）を組み込むことで、モデルのコアな音楽的属性理解を向上させる。
• 評価には自動ベンチマークと人間による研究を実施し、キャプション生成および推論タスクにおける応答品質、一貫性、人間の判断との整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 多様でノイズが多く、アラインメントの取れないオープンソース音楽データセットを、統一された指示微調整フォーマットに効果的に変換できるマルチタスク・インstructフォローアーキテクチャは構築可能か？
• RQ2 事前学習済み音声エンコーダーと言語モデルを組み合わせたマルチモーダルアーキテクチャは、タスク固有のベースラインと比較して、多様な音楽理解タスクでどの程度の性能を示すか？
• RQ3 LLARKの出力は、キャプション生成および推論タスクにおいて、どの程度人間の判断と整合しているか？
• RQ4 データスケールとモデルコンponentの影響は、アブレーションスタディを通じてどの程度明らかになるか？
• RQ5 完全にオープンソースのトレーニングパイプラインは、特許データを用いないにもかかわらず、音楽理解分野でSOTAモデルと同等の性能を発揮できるか？

主な発見

• LLARK は、音楽理解、キャプション生成、推論の3つのタスクカテゴリにおいて、最先端または競争力のある性能を達成し、ベンチマークデータセットで既存のベースラインを上回っている。
• 人間による評価では、LLARKの応答と人間がアノテートしたキャプションおよび推論出力との間に高い合意が得られており、人間の認識と強い整合性があることが示された。
• モデルは、バロック期の特徴など、音楽的スタイルや歴史的時代の特性に関する複雑な推論を含む、タスク間での強いゼロショット一般化性能を示した。
• アブレーションスタディにより、音声エンコーダーとマルチモーダルプロジェクションヘッドの両方が性能向上に寄与していることが確認され、特にプロジェクションヘッドが効果的なクロスマodal整合性を実現していることが重要であることが示された。
• トレーニングデータスケールの増加に伴いモデル性能が向上する傾向を示しており、指示微調整の文脈で正のスケーリング行動を示している。
• LLARK は完全にオープンソースのデータとモデルでトレーニングされており、トレーニングコードと重みが公開されているため、再現可能性とコミュニティによる拡張が可能である。