[論文レビュー] A Novel Audio Representation for Music Genre Identification in MIR

Navin Kamuni, Mayank Jindal+3 more|arXiv (Cornell University)|Apr 1, 2024

Music and Audio Processing被引用数 4

ひとこと要約

本稿は、音楽情報検索（MIR）における音楽ジャンル識別を目的とした、Jukebox生成モデルから得られる新しい音声表現の評価を行う。SOTAと同等のデータセットを用い、トランスフォーマーに基づく分類器を用いた結果、Jukeboxの表現は標準的なメルスペクトログ램を上回らないことが判明した。これは、人間の聴覚的認識と整合性がないためであり、深層ベクトル量子化アプローチを採用しているものの、その点で限界があると考えられる。

ABSTRACT

For Music Information Retrieval downstream tasks, the most common audio representation is time-frequency-based, such as Mel spectrograms. In order to identify musical genres, this study explores the possibilities of a new form of audio representation one of the most usual MIR downstream tasks. Therefore, to discretely encoding music using deep vector quantization; a novel audio representation was created for the innovative generative music model i.e. Jukebox. The effectiveness of Jukebox's audio representation is compared to Mel spectrograms using a dataset that is almost equivalent to State-of-the-Art (SOTA) and an almost same transformer design. The results of this study imply that, at least when the transformers are pretrained using a very modest dataset of 20k tracks, Jukebox's audio representation is not superior to Mel spectrograms. This could be explained by the fact that Jukebox's audio representation does not sufficiently take into account the peculiarities of human hearing perception. On the other hand, Mel spectrograms are specifically created with the human auditory sense in mind.

研究の動機と目的

• Jukeboxの深層ベクトル量子化音声表現が、MIRにおける音楽ジャンル識別を改善するかどうかを調査すること。
• 同一のモデルおよびデータ条件下で、Jukeboxの表現と標準的なメルスペクトログラムの性能を比較すること。
• Jukeboxの生成的事前学習が、下流のMIRタスクに有効な表現を学習するかどうかを評価すること。
• Jukeboxの表現が人間の聴覚的認識をモデル化していないことが、その有効性に制限をもたらすかどうかを検討すること。
• 表現の性能が事前学習データのスケールに敏感かどうかを特定すること。

提案手法

• 公平な比較を保証するため、両表現に同一のトランスフォーマー分類器アーキテクチャを採用する。
• Jukeboxの音声表現は、学習済みのベクトル量子化VAEを介して抽出され、生の音声から離散的な潜在コードが得られる。
• メルスペクトログラムは、標準的なメルスケールフィルタバンクを用いて計算され、MIR分野におけるよく知られたベースラインである。
• モデルは約20,000曲のデータセットでファインチューニングされ、やや小さい事前学習サイズである。
• 音楽ジャンル分類の標準的指標（例：正解率、F1スコア）を用いて性能を評価する。
• 訓練および評価プロトコルを同一にすることで、音声表現の影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 Jukeboxのベクトル量子化音声表現は、音楽ジャンル分類においてメルスペクトログラムを上回るか？
• RQ2 同一のトランスフォーマーアーキテクチャおよび同じデータセットサイズを用いた場合、Jukeboxの表現の性能はメルスペクトログラムと比べてどの程度か？
• RQ3 Jukeboxの表現が人間の聴覚的認識をモデル化していないことが、MIRタスクにおける性能にどの程度影響を及えるか？
• RQ4 表現間の性能差は、事前学習データのスケールに敏感か？
• RQ5 生成的モデルが学習した表現は、手作業で設計された表現（例：メルスペクトログラム）と同等の有効性を示せるか？

主な発見

• Jukeboxの音声表現は、音楽ジャンル識別においてメルスペクトログラムを上回る性能を示さなかった。
• 評価指標のすべてにおいて、Jukeboxの表現を用いたトランスフォーマー・モデルの性能は、メルスペクトログラムを用いた場合に比べて一貫して低かった。
• 研究では、この性能不足を、Jukeboxの表現が人間の聴覚的認識を最適化していないことに起因すると分析している。
• 20,000曲というやや小さい事前学習データセットでさえ、メルスペクトログラムが性能優位を維持した。
• 結果から、手作業で設計された表現（例：メルスペクトログラム）は、この下流タスクにおいて競争力がある、あるいはそれ以上に優れた性能を示す可能性があると示唆される。
• 本研究の結果は、生成的事前学習そのものが、MIRタスクにおけるより優れた表現学習を保証するわけではないことを示している。