[論文レビュー] Automatic, Personalized, and Flexible Playlist Generation using Reinforcement Learning

Shun-Yao Shih, Heng‐Yu Chi|arXiv (Cornell University)|Sep 11, 2018

Music and Audio Processing参考文献 17被引用数 4

ひとこと要約

本論文では、プレイリストを言語モデル設定における系列としてモデル化することで、自動的で個人に合わせた、かつ柔軟な音楽プレイリスト生成のための強化学習ベースのフレームワークを提案する。アテンションを強化したRNN言語モデルを、ユーザー固有の報酬関数を用いた方策勾配最適化により微調整することで、一貫性があり、多様で、新規性があり、トレンドに敏感なプレイリストを、個々の好みに合わせて生成する。従来手法と比較して、優れた柔軟性と性能を示している。

ABSTRACT

Songs can be well arranged by professional music curators to form a riveting playlist that creates engaging listening experiences. However, it is time-consuming for curators to timely rearrange these playlists for fitting trends in future. By exploiting the techniques of deep learning and reinforcement learning, in this paper, we consider music playlist generation as a language modeling problem and solve it by the proposed attention language model with policy gradient. We develop a systematic and interactive approach so that the resulting playlists can be tuned flexibly according to user preferences. Considering a playlist as a sequence of words, we first train our attention RNN language model on baseline recommended playlists. By optimizing suitable imposed reward functions, the model is thus refined for corresponding preferences. The experimental results demonstrate that our approach not only generates coherent playlists automatically but is also able to flexibly recommend personalized playlists for diversity, novelty and freshness.

研究の動機と目的

• オンライン音楽ストリーミングサービスにおいて、スケール的に動的で個人に合わせたプレイリストを手動で作成する課題に対処すること。
• 多様性、新規性、楽曲の新鮮さといった多様なユーザーの好みに適応する自動プレイリスト生成を可能にすること。
• カスタマイズ可能な報酬関数を通じて、プレイリストの特性をリアルタイムで調整可能な柔軟なシステムを開発すること。
• 従来の統計的手法および協調フィルタリング手法が、暗黙のユーザーの好みや小規模データセットの処理において抱える制限を克服すること。

提案手法

• 楽曲を系列内の単語として扱うことで、プレイリスト生成を系列予測問題として定式化する。
• k近傍探索を用いて、ユーザー-楽曲二部グラフから得られるベースラインプレイリスト上で、アテンションを備えたRNN言語モデル（AC-RNN-LM）を事前学習する。
• ユーザー固有の報酬関数（多様性、新規性、リリース年）を用いた方策勾配強化学習により、事前学習済みモデルを微調整する。
• 報酬関数の重み付き組み合わせ（例：多様性のためのDistinct-1、独自性のための新規性スコア、新鮮さのためのリリース年）を最適化して方策を最適化する。
• 系列長によるバイアスを避けるために、正規化または近似された指標を用いた報酬関数設計戦略を導入する。
• 報酬関数の重みハイパーパrameter（例：新規性のためのγ₂）を調整することで、プレイリストの特性を柔軟に操作可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、多様性、新規性、新鮮さといったユーザーの好みを反映する、個人に合わせたプレイリスト生成に効果的に適用可能だろうか？
• RQ2 アテンションを備えたRNNを用いた系列モデリングアプローチは、従来の統計的手法と比較して、プレイリストの系列的整合性をどの程度うまく捉えられるだろうか？
• RQ3 報酬関数をどの程度設計すれば、アーティストの多様性や楽曲の新鮮さといった特定のプレイリスト特性を制御できるだろうか？
• RQ4 複数の矛盾する目的を同時に最適化する際、モデルは性能と整合性を維持できるだろうか？
• RQ5 報酬関数の選択が、バイアスを導入せずに、高品質でユーザーに適合したプレイリストを生成するモデルの能力にどのように影響するだろうか？

主な発見

• 提案手法は、多様性、新規性、新鮮さを含む全評価指標でベースラインモデル（EmbeddingおよびAC-RNN-LM）を上回る一貫性があり、個人に合わせたプレイリストを生成している。
• 単一の報酬関数（例：RL-DIST）で最適化した場合、モデルはより高い一意のアーティスト数を達成し、Distinct-1指標において優れた性能を示している。
• 新規性の制御に関しては、報酬重みγ₂を調整することで、モデルの新規性スコアを体系的に調整可能であり、ユーザーの好みの範囲で制御可能であることが示された。
• 複数の目的（例：多様性と新規性）を最適化しても、単一目的ベースラインと比較して、品質が優れたプレイリストを生成している。
• RL-NOVELTYで学習したモデルは、より少ない人が聴いた楽曲を効果的に再検索しており、新鮮で人気のないコンテンツを生成する能力を確認している。
• RL-YEARで学習したモデルは、ベースラインモデルと比較して、より早いリリース年を持つプレイリストを生成しており、時間的新鮮さの制御が効果的に行われていることが確認された。