[論文レビュー] Sequential Skip Prediction with Few-shot in Streamed Music Contents

Sungkyun Chang, Seungjin Lee+1 more|arXiv (Cornell University)|Jan 24, 2019

Music and Audio Processing参考文献 12被引用数 5

ひとこと要約

本論文では、音声特徴量とユーザーアクティビティログを用いて、ストリーミング音楽における少数ショット連続スキップ予測モデルを提案する。メトリック学習とシーケンス学習のアプローチを比較し、因果的拡張畳み込み層とハイウェイ活性化関数を用いたシーケンス学習が、メトリック学習を著しく上回ることを発見。バリデーションデータで63.8%のMAAを達成し、クエリ段階で完全なユーザーログを活用することでさらなる向上が得られた。

ABSTRACT

This paper provides an outline of the algorithms submitted for the WSDM Cup 2019 Spotify Sequential Skip Prediction Challenge (team name: mimbres). In the challenge, complete information including acoustic features and user interaction logs for the first half of a listening session is provided. Our goal is to predict whether the individual tracks in the second half of the session will be skipped or not, only given acoustic features. We proposed two different kinds of algorithms that were based on metric learning and sequence learning. The experimental results showed that the sequence learning approach performed significantly better than the metric learning approach. Moreover, we conducted additional experiments to find that significant performance gain can be achieved using complete user log information.

研究の動機と目的

• ストリーミング音楽における連続スキップ予測を、少数ショット学習を用いて解決すること。特に、リスニングセッションの後半では音声特徴量のみが利用可能である状況を想定する。
• 部分的なリスニングセッションから得られるユーザービヘイビアパターンを、メトリック学習とシーケンス学習のどちらがより適切に捉えられるかを評価すること。
• クエリ段階で完全なユーザーアクティビティログを提供することで、スキップ予測性能にどの程度の向上が得られるかを調査すること。
• 完全なクエリ情報（ユーザーログ）で訓練された教師モデルから知識蒸留を用いて、学生モデルの性能を向上させることを検討すること。

提案手法

• 関係ネットワーク（RN）を用いたメトリック学習ベースのモデルを提案。支持データとクエリデータのトラック間で、学習された潜在空間上での類似度を計算する。
• 類似度スコアの代わりにスキップラベルを直接予測するように変更した関係ネットワーク（rnbc2-UE）を導入。ユーザープレファレンスをモデル化するための追加埋め込み層を備える。
• 時系列依存性をモデル化するため、スタックされた因果的拡張畳み込み層とハイウェイ活性化関数またはGLU活性化関数を用いたシーケンス学習モデル（seq1HL）を開発。
• 非因果的エンコーダーを用いてサポートとクエリの両方の時系列情報を長距離にわたって捉える、アテンション強化型の変種（att(seq1eH(S), seq1eH(Q)))を提案。
• シーケンス学習にはバイナリクロスエントロピー損失、メトリック学習には平均二乗誤差を用い、Adam最適化法と早期停止法を適用してモデルを訓練。
• クエリ段階でユーザーログと音声特徴量の両方を用いて訓練した教師モデルを構築し、完全な情報の利点を評価。

実験結果

リサーチクエスチョン

• RQ1 クエリ段階で音声特徴量のみが利用可能な状況下で、メトリック学習がストリーミング音楽のスキップ予測を効果的に実行できるか？
• RQ2 時系列モデリングを組み込んだシーケンス学習が、少数ショットスキップ予測タスクにおいてメトリック学習を上回るか？
• RQ3 クエリ段階で完全なユーザーアクティビティログが提供された場合、どの程度の性能向上が達成可能か？
• RQ4 完全なクエリデータで訓練された教師モデルからの知識蒸留により、学生モデルの性能向上が可能か？

主な発見

• シーケンス学習ベースのモデル（seq1HL）はバリデーションで63.8%のMAAを達成し、最良のメトリック学習モデル（rnbc2-UE）の57.4% MAAを大きく上回り、6.4ポイントの改善を示した。
• シーケンス学習アプローチは、少なくとも5.9ポイント以上、メトリック学習を上回った。これは、時系列モデリングがスキップ予測により効果的であることを示している。
• アテンションベースのモデル（att(seq1eH(S), seq1eH(Q)))は63.3% MAAを達成し、アテンション機構が有効であることが示されたが、因果的アーキテクチャに比べて優位性は示さなかった。
• 完全なクエリ情報（ユーザーログ＋音声特徴量）で訓練された教師モデルは84.9% MAAを達成し、最良の学生モデルと比較して21.1ポイントの向上を示した。これは、完全なクエリデータの価値が顕著に高いことを示している。
• アブレーションスタディの結果、ユーザープレファレンス埋め込みの追加と直接ラベル予測の導入により、メトリック学習の性能がベースラインから1.4ポイント向上した。
• 最も高い性能を示したモデル（seq1HL）は、2段スタック構造と拡張畳み込み層、ハイウェイユニットを用いたアーキテクチャであり、より深い時系列モデリングが性能向上に寄与していることを示した。