[論文レビュー] Hit Song Prediction for Pop Music by Siamese CNN with Ranking Loss

Lang-Chi Yu, Yi‐Hsuan Yang+2 more|arXiv (Cornell University)|Oct 30, 2017

Music and Audio Processing参考文献 9被引用数 10

ひとこと要約

本稿では、回帰ではなく相対順位付け問題として扱うことで、ヒット曲予測のためのシames型畳み込みニューラルネットワーク（CNN）とランク損失を提案する。60日目における日次再生回数とA/Bサンプリングを用いてデータの不均衡を是正することで、ベースラインの回帰モデルよりも顕著に高い精度を達成し、特に音声ハイライトとタグ特徴量を組み合わせた場合に最高の性能を示す。

ABSTRACT

A model for hit song prediction can be used in the pop music industry to identify emerging trends and potential artists or songs before they are marketed to the public. While most previous work formulates hit song prediction as a regression or classification problem, we present in this paper a convolutional neural network (CNN) model that treats it as a ranking problem. Specifically, we use a commercial dataset with daily play-counts to train a multi-objective Siamese CNN model with Euclidean loss and pairwise ranking loss to learn from audio the relative ranking relations among songs. Besides, we devise a number of pair sampling methods according to some empirical observation of the data. Our experiment shows that the proposed model with a sampling method called A/B sampling leads to much higher accuracy in hit song prediction than the baseline regression model. Moreover, we can further improve the accuracy by using a neural attention mechanism to extract the highlights of songs and by using a separate CNN model to offer high-level features of songs.

研究の動機と目的

• ヒット曲予測を絶対的再生回数の回帰ではなく、相対的楽曲人気の順位付けとしてモデル化することで、性能を向上させること。
• シアンス型学習における新しいペアサンプリング戦略を用いて、人気楽曲と非人気楽曲の間のデータ不均衡を是正すること。
• 音楽の要約モデルを介した高レベルの音声表現とタグ特徴量を統合することで、モデル性能を向上させること。
• ランク損失と回帰損失を併用するマルチオブジェクティブ学習の有効性を、音楽のヒット可能性予測において評価すること。

提案手法

• 同じ重みを持つ2つの同一のサブネットワークを有するシアンス型CNNアーキテクチャを採用し、音声埋め込みに基づいて楽曲ペアを比較する。
• 平均二乗誤差（MSE）によるヒットスコア回帰と、マージン付きのペアワイズランク損失を併用して、楽曲の人気順位の相対関係を維持するように同時に最適化する。
• 3種類のペアサンプリング手法—ナイーブ、A/B、アーティストサンプリング—を導入し、特にA/Bサンプリングは人気楽曲と非人気楽曲のペアをバランスさせるように設計されている。
• 音声特徴量は、音楽の要約モデル（JYnet）を用いて抽出され、30秒のハイライトセグメント（HL-30）を生成することで、中央部サンプリングよりも優れた表現品質が得られる。
• ジャンルやムードなどの追加タグ特徴量は、音声埋め込みと連結され、入力表現の豊かさが向上する。
• 最終的なモデルは、音声特徴量、タグ特徴量、シアンス型アーキテクチャ、マルチオブジェクティブ損失を統合し、相対的ヒット可能性を予測する。

実験結果

リサーチクエスチョン

• RQ1 ヒット曲予測を順位付け問題としてモデル化することで、従来の回帰ベースの手法よりも性能が向上するか？
• RQ2 異なるペアサンプリング戦略は、楽曲人気分布の不均衡に対処する上で、モデル性能にどのように影響を与えるか？
• RQ3 高レベルの音声表現（例：楽曲ハイライト）とメタデータタグを統合することで、予測精度が向上するか？
• RQ4 ランク損失と回帰損失の両方を用いたマルチオブジェクティブ学習は、単一目的モデルと比較して、ヒット曲予測のどの程度の向上をもたらすか？

主な発見

• A/Bサンプリングとランク損失を組み合わせたシアンス型CNNは、nDCG@10%が0.3484を達成し、最良のベースライン回帰モデル（nDCG@10% = 0.2753）を顕著に上回った。
• JYnet要約モデルによる音声ハイライト（HL-30）を用いることで、中央部サンプリング（Mid-30）よりも性能が向上し、楽曲の重要なコンテンツをよりよく表現していることが示された。
• A/Bサンプリング手法はデータ不均衡を効果的に是正し、他のサンプリング戦略と比較して、ケンダールのτ（0.1868）とスピアーマンのρ（0.2421）が高くなった。
• 音楽タグの統合は、すべてのモデルで性能向上をもたらし、A/Bサンプリング、タグ、音声ハイライトを組み合わせた場合に最も高い結果（nDCG@10% = 0.3484）を達成した。
• A/Bサンプリングとアーティストサンプリングの融合はわずかな改善に留まり、これらのサンプリング手法を組み合わせることによる追加的利益は限定的であることが示唆された。
• 累積再生回数ではなく、リリース後60日目の日次再生回数を用いることで、リリースタイミングや外部プロmotionの急増によるバイアスを軽減し、より安定的かつ公平なヒットスコア推定が可能になった。