[論文レビュー] Offline Meta-level Model-based Reinforcement Learning Approach for Cold-Start Recommendation

Yanan Wang, Yong Ge+3 more|arXiv (Cornell University)|Dec 4, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 5

ひとこと要約

この論文では、再帰的システムにおけるコールドスタートユーザーへの迅速な適応を可能にする、オフラインメタレベルモデルベース強化学習フレームワークM3Recを提案する。ユーザーの文脈変数を学習し、逆強化学習を用いて最小限の相互作用からユーザーの方策と報酬を推定することで、サンプル効率を向上させ、新規ユーザー1人あたり1つの相互作用シーケンスでのみ、最先端の性能を達成する。

ABSTRACT

Reinforcement learning (RL) has shown great promise in optimizing long-term user interest in recommender systems. However, existing RL-based recommendation methods need a large number of interactions for each user to learn a robust recommendation policy. The challenge becomes more critical when recommending to new users who have a limited number of interactions. To that end, in this paper, we address the cold-start challenge in the RL-based recommender systems by proposing a meta-level model-based reinforcement learning approach for fast user adaptation. In our approach, we learn to infer each user's preference with a user context variable that enables recommendation systems to better adapt to new users with few interactions. To improve adaptation efficiency, we learn to recover the user policy and reward from only a few interactions via an inverse reinforcement learning method to assist a meta-level recommendation agent. Moreover, we model the interaction relationship between the user model and recommendation agent from an information-theoretic perspective. Empirical results show the effectiveness of the proposed method when adapting to new users with only a single interaction sequence. We further provide a theoretical analysis of the recommendation performance bound.

研究の動機と目的

• 新しいユーザーに十分な相互作用履歴がないため、強化学習ベースのシステムにおけるコールドスタート推薦の課題に対処する。
• 新規ユーザー1人あたり数回の相互作用で、迅速な方策適応を可能にするサンプル効率の向上。
• ユーザーの好みの構造的類似性を学習するメタレベルフレームワークを構築し、コールドスタートユーザーに一般化できるようにする。
• 限られたオフラインデータからユーザーの方策と報酬関数を推定するために、逆強化学習を統合する。
• 情報理論的相互情報量正則化を用いて、ユーザーと推薦エージェントの依存関係をモデル化する。

提案手法

• 疎な相互作用シーケンスからユーザーの好みを表現・推定するためのユーザー文脈変数を導入する。
• 少数のユーザー相互作用から、逆強化学習を用いてユーザー方策と報酬関数を回復する。
• ユーザー文脈変数に条件付けられたメタレベルユーザー・モデルを構築し、ユーザー行動をシミュレートする。
• メタ学習フレームワーク内でモデルベース強化学習を用いてメタレベル推薦エージェントを訓練し、長期的なユーザー参加を最適化する。
• ユーザー方策と推薦方策の間の相互情報量正則化を適用し、それらの相互依存関係をモデル化し、適応性を向上させる。
• メタ学習のためのオフラインデータを活用し、シミュレート環境および現実世界のオフライン設定の両方で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 メタレベルモデルベース強化学習アプローチは、1つの相互作用シーケンスでのみ、コールドスタートユーザーに効果的に適応できるか？
• RQ2 逆強化学習を統合することで、コールドスタート推薦におけるサンプル効率がどのように向上するか？
• RQ3 ユーザー方策と推薦方策の間の相互情報量正則化は、適応性能をどの程度向上させるか？
• RQ4 提案手法は、オンラインおよびオフライン設定における最先端の強化学習ベースおよびメタ学習ベースの推薦手法と比較して、どのように差をつけるか？
• RQ5 提案されたオフラインメタ強化学習フレームワークの理論的性能上限は何か？

主な発見

• オンラインシミュレーションでは、M3Recが最高の平均報酬を達成し、k=3で40.72 ± 0.66、k=5で40.80 ± 0.50を記録し、すべてのベースラインを上回った。
• CIKM CUP 2016データセットにおけるオフライン評価では、M3Recは1件目で7.26%、5件目で28.42%、10件目で40.02%の精度を達成し、すべてのベースラインを顕著に上回った。
• M3RecはNDCG@5で17.89%、NDCG@10で21.63%を達成し、次に良い手法よりも2ポイント以上優れていた。
• Recall@10はM3Recで9.16%、最良のベースラインで8.97%であったため、関連アイテムのカバレッジが向上していることが示された。
• 理論的分析により、オフラインメタ強化学習フレームワークの性能上限が確認され、一般化能力が裏付けられた。
• 相互情報量正則化の統合により、コールドスタートユーザーに対する適応速度と精度の両面で明確な向上が得られた。