[論文レビュー] A Dataset and Baselines for Measuring and Predicting the Music Piece Memorability

Li-Yang Tseng, Tzu-Ling Lin+3 more|arXiv (Cornell University)|Nov 4, 2023

Color perception and design被引用数 2

ひとこと要約

本論文は、ユーザーの想起実験から得られた客観的な想起スコアを有する、ユーチューブ音楽の想起性（YTMM）データセットを紹介する。このデータセットを用いて、音声スペクトログ램、解釈可能な音楽特徴量、SHAPに基づく説明可能性を活用した深層学習およびハンドクラフト特徴量ベースラインを提案し、想起性の予測を試みた。その結果、より高いアーザル、テンポ、バリエンスが想起性の向上と関連していることが示された。

ABSTRACT

Nowadays, humans are constantly exposed to music, whether through voluntary streaming services or incidental encounters during commercial breaks. Despite the abundance of music, certain pieces remain more memorable and often gain greater popularity. Inspired by this phenomenon, we focus on measuring and predicting music memorability. To achieve this, we collect a new music piece dataset with reliable memorability labels using a novel interactive experimental procedure. We then train baselines to predict and analyze music memorability, leveraging both interpretable features and audio mel-spectrograms as inputs. To the best of our knowledge, we are the first to explore music memorability using data-driven deep learning-based methods. Through a series of experiments and ablation studies, we demonstrate that while there is room for improvement, predicting music memorability with limited data is possible. Certain intrinsic elements, such as higher valence, arousal, and faster tempo, contribute to memorable music. As prediction techniques continue to evolve, real-life applications like music recommendation systems and music style transfer will undoubtedly benefit from this new area of research.

研究の動機と目的

• 音楽情報検索（MIR）分野においてほとんど未開拓であった、音楽の想起性を測定・予測するデータ駆動型アプローチを確立すること。
• 制御されたインタラクティブな実験手順を用いて、信頼性の高い大規模データセットを収集し、客観的な想起スコアを付与すること。
• ハンドクラフト特徴量と自己教師あり音声表現を用いて、音楽の想起性回帰（MMR）のためのベースラインモデルを開発・評価すること。
• SHAPを用いた説明可能性により、モデルの意思決定を解釈し、想起性に影響を与える主要な音楽的特徴を同定すること。
• 公開可能なデータセットとベンチマークを提供することで、今後の音楽推薦、ブランディング、コンテンツ制作分野の研究を可能にすること。

提案手法

• 参加者が18分間隔の3分間の休憩をはさんで、5秒間の音楽クリップを想起するインタラクティブな音楽記憶ゲームを3段階で開発し、想起ラベルを収集した。
• 1,000の音楽作品を含むYTMMデータセットを構築し、各作品には正しく想起した参加者割合に基づいた想起スコアが付与された。
• 複数のベースラインモデルを提案した：RBFカーネルを用いたSVR、MLP、およびSSAST（自己教師あり音声スペクトログラムトランスフォーマ）。入力としてハンドクラフト特徴量とメルスペクトログ램を用いた。
• 予測結果の解釈を図るため、SHAPを用いた説明可能AI（XAI）を統合し、アーザル、BPM、トーン的特徴などに影響を与える特徴を同定した。
• 特に順序付きモデル（例：SSAST）の汎化性能を向上させるために、ピッチシフト（±5半音）を用いたデータ拡張を実施した。
• 特徴量選択とデータ拡張に関するアブレーションスタディを実施し、モデルのロバストネスと入力変動に対する感受性を評価した。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型機械学習手法を用いて、音楽の想起性を信頼性高く測定・予測できるか？
• RQ2 テンポ、バリエンス、アーザル、トーン的特徴といった、音声的・音楽的特徴のうち、想起性を最も強く予測するのはどれか？
• RQ3 限られたデータで、SVR、MLP、SSASTといった異なるモデルアーキテクチャが、音楽の想起性予測にどの程度効果を発揮するか？
• RQ4 SHAPに基づく説明可能性は、想起されやすい音楽の本質的特徴をどの程度明らかにできるか？
• RQ5 特にピッチシフトを用いたデータ拡張は、異なるアーキテクチャ間でモデル性能にどのような影響を与えるか？

主な発見

• YTMMデータセットは、ユーザーの想起から得られた一貫性のある客観的想起スコアを提供し、音楽の想起性回帰のための信頼できるベンチマークを確立した。
• 説明可能なハンドクラフト特徴量（EHC）ベースラインが、スコアの相関係数0.58を達成し、スペクトログラムや生の特徴量のみを用いたモデルを上回る性能を示した。
• 自己教師ありモデルであるSSASTは、スペクトログラムパターンの事前学習による理解を活かしており、他の深層学習ベースラインを上回った。
• アブレーションスタディの結果、上位25個のハンドクラフト特徴量の選択が相関係数を最大化することが示され、特徴量選択がパフォーマンスに重要であることがわかった。
• ピッチシフトによるデータ拡張は、SSASTのような順序付きモデルの性能を顕著に向上させた。これは、ピッチ変動に感受性の高いモデルにとって、データ拡張の重要性を示している。
• SHAP解析により、高いアーザル、速いテンポ（BPM）、および非ボーカル・非ドラム・非ベースのトーン的成分（例：メロディ）が、想起性の主な予測要因であることが明らかになった。