[論文レビュー] Codified audio language modeling learns useful representations for music information retrieval

Rodrigo Castellon, Chris Donahue+1 more|arXiv (Cornell University)|Jul 12, 2021

Music and Audio Processing参考文献 61被引用数 22

ひとこと要約

この論文は、100万曲の音楽で事前学習されたJukeboxモデルからの表現を用いた、形式化された音声言語モデリング（CALM）が、従来のタグベースの事前学習よりも、音楽情報検索（MIR）のための顕著に優れた特徴をもたらすことを示している。平均して、CALM特徴は4つのMIRタスク—タグ付け、ジャンル分類、キー検出、感情認識—において30%の性能向上を達成しており、特にキー検出で顕著な優位性を示している。これは、音声ベースの事前学習が、ラベルベースの手法よりも豊富で、より一般化可能な表現を捉えていることを示唆している。

ABSTRACT

We demonstrate that language models pre-trained on codified (discretely-encoded) music audio learn representations that are useful for downstream MIR tasks. Specifically, we explore representations from Jukebox (Dhariwal et al. 2020): a music generation system containing a language model trained on codified audio from 1M songs. To determine if Jukebox's representations contain useful information for MIR, we use them as input features to train shallow models on several MIR tasks. Relative to representations from conventional MIR models which are pre-trained on tagging, we find that using representations from Jukebox as input features yields 30% stronger performance on average across four MIR tasks: tagging, genre classification, emotion recognition, and key detection. For key detection, we observe that representations from Jukebox are considerably stronger than those from models pre-trained on tagging, suggesting that pre-training via codified audio language modeling may address blind spots in conventional approaches. We interpret the strength of Jukebox's representations as evidence that modeling audio instead of tags provides richer representations for MIR.

研究の動機と目的

• 音声生成モデルを用いて形式化された音声言語モデリング（CALM）で事前学習した表現が、識別的MIRタスクに有効であるかどうかを調査すること。
• 手動タグ、メタデータ、対照的学習で事前学習したモデルと比較して、CALMから得られる特徴の有効性を検証すること。
• ラベルに依存せず、生の音声を直接モデリングすることで、MIRのためのより豊かで一般化可能な表現が得られるかどうかを検討すること。
• 大規模なNLPスタイルのモデル（本来は生成を目的として設計）を、下流の識別的MIRタスクに再利用する可能性を評価すること。

提案手法

• 100万曲の音楽で事前学習されたJukeboxモデルを用い、その音声表現を抽出する。このモデルは、離散的な音声コードを用いたTransformer言語モデルを採用している。
• 音声波形がまずVQ-VAEを介して離散トークンに符号化され、これにより音声にNLPスタイルの言語モデリングを適用可能になる。
• 抽出されたJukeboxの特徴を入力として用い、浅いプローブモデル（例：全結合ネットワーク）を下流のMIRタスクで訓練する。
• これらのプローブの性能を、タグ、メタデータ、または対照的学習で事前学習したモデルからの特徴を用いたベースラインと比較する。
• 4つのMIRタスク（音楽タグ付け、ジャンル分類、キー検出、感情認識）で実験を実施する。
• すべての実験はDockerコンテナとCodaLabワークシートを用いて再現可能であり、コードとモデル重みを公開することで透明性を確保している。

実験結果

リサーチクエスチョン

• RQ1 形式化された音声言語モデリングで事前学習した音声生成モデルの表現は、下流のMIRタスクに効果的に転送可能か？
• RQ2 CALMから得られる特徴は、手動タグ、メタデータ、対照的学習で事前学習したモデルからの特徴と比較して、性能に差があるか？
• RQ3 ラベルではなく音声そのもので事前学習することで、MIRのためのより強固で情報豊富な表現が得られるか？
• RQ4 特にタグと相関の薄いタスク（例：キー検出）において、CALMが特に有益であるか？

主な発見

• JukeboxのCALM事前学習から得られる表現は、タグベースの事前学習と比較して、4つのMIRタスクで平均して30%の性能向上を達成している。
• キー検出において、CALM特徴はタグベースの特徴を顕著に上回っており、音声モデリングがタグにうまく表現されない構造的特徴を捉えていることが示唆されている。
• CALMベースのアプローチは、推論に1つの12GB GPUしか使用しないにもかかわらず、複数のMIRタスクで最先端のモデルと同等の性能を達成している。
• 結果から、ラベルベースの事前学習に比べ、生の音声を直接モデリングすることで、より豊かで一般化可能な表現が得られ、特にタグとは直接関係の薄いタスクにおいて顕著であることが示唆されている。
• CALMの成功は、NLPにインspiredされた大規模な音声モデリングが、MIRにおける新たな能力を解き放つ可能性を支持する一般的な仮説を裏付けている。
• 著者らは、コード、Dockerコンテナ、CodaLabワークシートを公開し、完全な再現性を確保するとともに、CALMベースのMIR分野におけるさらなる研究を促進している。