[論文レビュー] Mood Classification Using Listening Data

Filip Korzeniowski, Oriol Nieto+4 more|arXiv (Cornell University)|Oct 11, 2020

Music and Audio Processing参考文献 39被引用数 4

ひとこと要約

本稿では、ユーザー行動データからの聴取ベースの埋め込みを用いて音楽の気分を分類する手法を提案し、AllMusicの専門家による気分アノテーションを施した新規データセット（67,000曲）において、音声ベースの埋め込みよりも優れた性能を示した。主な貢献は、音声特徴とは対照的に、暗黙的聴取行動からの協調フィルタリング信号が、多様な音声モデルを越えて気分関連のパターンをより効果的に捉えられることを示したことである。

ABSTRACT

The mood of a song is a highly relevant feature for exploration and recommendation in large collections of music. These collections tend to require automatic methods for predicting such moods. In this work, we show that listening-based features outperform content-based ones when classifying moods: embeddings obtained through matrix factorization of listening data appear to be more informative of a track mood than embeddings based on its audio content. To demonstrate this, we compile a subset of the Million Song Dataset, totalling 67k tracks, with expert annotations of 188 different moods collected from AllMusic. Our results on this novel dataset not only expose the limitations of current audio-based models, but also aim to foster further reproducible research on this timely topic

研究の動機と目的

• 音楽感情認識分野における再現可能な研究を可能にするために、大規模かつ専門家がアノテートしたデータセットを構築し、音楽トラックと気分を結びつける。
• 聴取ベースの埋め込みが音声ベースのモデルを上回る気分分類性能を示せるかどうかを調査すること。
• 共通の高品質な気分アノテーションデータセット上で、音声ベースおよび聴取ベースの埋め込みの性能を評価すること。
• タグ頻度およびモデルアーキテクチャの気分予測性能に与える影響を分析すること。
• 現在の音声ベースのモデルが、音声信号から直接抽出できない気分情報を取りこぼしている点の限界を検討すること。

提案手法

• ミリオン・ソング・データセットのTaste Profileサブセットに属する66,993曲を、AllMusicの専門家による気分アノテーションと照合することでAMSデータセットを構築した。
• 最先端のモデルを用いて音声ベースの埋め込みを抽出した。これには、事前学習済みおよび微調整済みのバリエーション（例：MCN-MSD-A、SCC-A）が含まれる。
• 同じデータセットの暗黙的聴取行動（例：再生回数）の行列分解により、聴取ベースの埋め込みを生成した。
• 音声および聴取ベースの埋め込みを入力特徴として用い、マルチラベル分類モデルを訓練した。
• タグごとの平均適合率を用いてモデルを評価し、異なるタグ頻度における性能を分析した。
• 音声ベースと聴取ベースの埋め込みの間でタグごとの性能相関を比較し、共有情報の捉え方を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ専門家がアノテートしたデータセット上で、聴取ベースの埋め込みが音声ベースの埋め込みを上回って気分分類に寄与できるか？
• RQ2 気分タグの頻度は、音声および聴取ベースのモデルの性能にどのように影響するか？
• RQ3 異なる音声ベースのモデルがどれほど類似した気分関連情報を捉えているか、またそれが聴取ベースのモデルと比べてどの程度か？
• RQ4 信号タイプ（暗黙的フィードバック対明示的フィードバック）は、気分分類モデルの性能にどのような役割を果たすか？
• RQ5 本質的に予測が難しい気分カテゴリーは存在するか？ また、それらはデータモダリティやモデルタイプと相関しているか？

主な発見

• 聴取ベースの埋め込みは、気分分類タスク全体において、平均適合率という指標で、すべての音声ベースのモデルを一貫して上回った。
• 独自開発の聴取モデル（P-L）は、公開のTP-Lモデルよりも高い性能を示した。これは、3,500倍大きいデータセットと、より強い明示的フィードバック信号のおかげであるとされた。
• 音声ベースのモデルはタグごとの性能に高い相関を示しており、類似したが、最適ではない気分表現を学習していることが示された。
• 聴取ベースのモデル（TP-LおよびP-L）は、相互に相関が弱く、異なるあるいはより多様な気分パターンを捉えていることが示唆された。
• タグ頻度は性能にやや影響を与えたが、音声および聴取ベースの両モデルに同様の影響が見られ、SCC-Aを除いては顕著な差はなかった。
• 結果から、現在の音声ベースのモデルは、聴取行動に存在する一部の気分関連情報を取りこぼしている可能性があり、気分の手がかりが音声信号に完全に符号化されていない可能性が示唆された。