[論文レビュー] Evaluating Music Recommender Systems for Groups

J. Zs. Mezei, Carsten Eickhoff|arXiv (Cornell University)|Jul 31, 2017

Music and Audio Processing参考文献 13被引用数 3

ひとこと要約

本論文は、78名の参加者を含む3人1組のグループを対象とした制御された実験を通じて、実際のグループ音楽好みを捉えた、公開済みのベンチマークデータセットと新しいユーザースタディを導入している。音楽グループ推薦手法の多様なアプローチ——包括的アルゴリズムと一般の機械学習モデルを含む——を評価した結果、個々の投票を加重なしで平均化する手法が、最もロバストで効果的なアプローチであることが判明した。

ABSTRACT

Recommendation to groups of users is a challenging and currently only passingly studied task. Especially the evaluation aspect often appears ad-hoc and instead of truly evaluating on groups of users, synthesizes groups by merging individual preferences. In this paper, we present a user study, recording the individual and shared preferences of actual groups of participants, resulting in a robust, standardized evaluation benchmark. Using this benchmarking dataset, that we share with the research community, we compare the respective performance of a wide range of music group recommendation techniques proposed in the

研究の動機と目的

• グループ音楽推薦システムの標準化された、現実世界の評価ベンチマークの不足に対処すること。
• 共有音楽聴取セッション中の実際のグループ相互作用を観察することで、本物のグループ好みのデータを収集すること。
• 共有され、標準化されたデータセット上で、幅広い既存のグループ推薦手法および一般の機械学習モデルを評価すること。
• 今後のグループ推薦システムの再現可能できめの細かい評価を可能にするために、公開可能なベンチマークデータセットを提供すること。

提案手法

• 音楽聴取と評価を含む、26組の3人1組の参加者による監視付きユーザースタディを実施。社会的活動（Unoカードゲーム）を背景にした音楽聴取体験を提供。
• スマートフォンベースのウェブアプリケーションを用いて、5段階リッカート尺度による個々の評価とグループ評価を記録。
• 2択選択式の10問のアンケートを通じて、年齢、性別などの人口統計的データおよびパーソナリティ特徴を収集。
• 個々の好みをグループプレイリストに集約。楽曲の長さのばらつきを管理するため、1.5分間再生後にフェードアウト処理を実施。
• 波形解析（Sprague et al., 2008）に基づき、Marsyasライブラリを用いて音楽のアコースティック類似度を計算。
• 個々の評価、人口統計的データ、楽曲メタデータ、類似度スコアなどの特徴量を用いて、線形回帰、ニューラルネットワーク、アンサンブル手法などの複数のモデルを訓練および評価。

実験結果

リサーチクエスチョン

• RQ1 合成グループではなく、実際のグループ好みデータ上で評価された場合、異なるグループ推薦手法の性能はどのように異なるか？
• RQ2 一般向け機械学習モデルと比較して、専用のグループ推薦アルゴリズムの相対的な性能はどの程度か？
• RQ3 グループ推薦の文脈において、訓練データ量の増加に伴い、モデルの性能はどのように変化するか？
• RQ4 個々のユーザー属性と評価のばらつきは、グループ好み予測の正確性にどの程度影響を及えるか？

主な発見

• 平均個々の評価は3.36（標準偏差1.27）であり、グループ評価はわずかに低い3.30（標準偏差1.08）であった。これは、グループが極端な評価を控える傾向にあることを示している。
• 加重なしの個々の投票平均化が、最もロバストで一貫性のある効果的な手法として浮き彫りになった。この手法は、評価指標のすべてにおいて、専用アルゴリズムを上回るか、同等の性能を示した。
• 線形回帰は、全評価モデルの中で最小の平均二乗誤差（MSE）0.599と最大の正規化済み累積利益割合（nDCG）0.942を達成した。
• ニューラルネットワークおよびアンサンブル手法（例：ランダムフォレスト回帰）も競争力のある性能を示し、MSEは0.612〜0.686の間、nDCGスコアは0.90以上を記録した。
• 訓練データ量の増加に伴う性能向上は、機械学習モデル（例：線形回帰、ニューラルネットワーク）に対しては、専用のグループ推薦アルゴリズムよりも体系的であった。
• データセットには1068件の個々の評価と356件のグループ評価が含まれ、100曲の楽曲が対象であり、17曲は誰からも選択されていなかった。特徴量にはジャンル、アーティスト、アルバム、およびアコースティック類似度が含まれる。