[論文レビュー] Partially Observable Markov Decision Process for Recommender Systems

Zhongqi Lu, Qiang Yang|arXiv (Cornell University)|Aug 28, 2016

Recommender Systems and Techniques参考文献 22被引用数 16

ひとこと要約

本稿では、ユーザーの関心の変化をモデル化し、負のトレーニングサンプルに依存しないことで、反復劣化（RD）現象に対処する神経最適化型部分的に観測可能なマルコフ意思決定過程（POMDP）フレームワーク、POMDP-Recを提案する。正のフィードバックと履歴データのみを用いて、エキスパートチューニングされたモデルと同等の性能を達成し、信念状態遷移を活用することで学習を安定化させる。

ABSTRACT

We report the "Recurrent Deterioration" (RD) phenomenon observed in online recommender systems. The RD phenomenon is reflected by the trend of performance degradation when the recommendation model is always trained based on users' feedbacks of the previous recommendations. There are several reasons for the recommender systems to encounter the RD phenomenon, including the lack of negative training data and the evolution of users' interests, etc. Motivated to tackle the problems causing the RD phenomenon, we propose the POMDP-Rec framework, which is a neural-optimized Partially Observable Markov Decision Process algorithm for recommender systems. We show that the POMDP-Rec framework effectively uses the accumulated historical data from real-world recommender systems and automatically achieves comparable results with those models fine-tuned exhaustively by domain exports on public datasets.

研究の動機と目的

• フィードバックループの劣化やデータ分布のシフトによって引き起こされるオンラインレコメンデーションシステムにおける反復劣化（RD）現象に対処すること。
• 部分的に観測可能なマルコフ意思決定過程（POMDP）として順序付きレコメンデーションをモデル化し、部分的なユーザーのフィードバックや隠れたユーザー状態を扱うこと。
• 実世界のシステムでしばしば不足気味またはバイアスがかかる負のトレーニングサンプルの必要性を排除すること。
• 状態遷移モデルを用いることで、変化するユーザーの関心や動的変化するレコメンデーション文脈に対する耐性を高めること。
• 推論中に進化するユーザーの好みに縛られない、すべての履歴データを用いた効果的なオフライン学習を可能にすること。

提案手法

• ユーザー状態が隠れており、部分的な観測（例：クリック）から推定される部分的に観測可能なマルコフ意思決定過程（POMDP）として順序付きレコメンデーションプロセスを定式化する。
• 高次元の状態・行動空間における関数近似を可能にするために、ニューラルフィットドQ学習を用いてQ値関数を推定する。
• 信念状態を用いて、システムのユーザー関心に関する確率的理解を表現し、観測されたフィードバックに基づいて更新する。
• 合成的またはサンプリングされた負の例を必要とせず、正のフィードバック（例：クリック）のみで学習を行う。
• マーカフ性を活用して、完全なユーザー行動シーケンスを保存せずに状態遷移をモデル化することで、学習効率を向上させる。
• シャッフルされた履歴データに対する反復的学習を適用し、Q値推定の安定化と過大評価バイアスの低減を図る。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのフィードバックが疎で不完全な状況下でも、POMDPベースのフレームワークが順序付きレコメンデーションを効果的にモデル化できるか？
• RQ2 POMDP-Recフレームワークは、フィードバックループバイアスやデータ分布のシフトによって引き起こされる反復劣化（RD）現象をどのように軽減するか？
• RQ3 POMDPベースのモデルは、負のトレーニングサンプルを一切必要としない状況で、エキスパートチューニングされた教師ありモデルと同等の性能をどの程度達成できるか？
• RQ4 POMDP-Recにおける信念状態遷移機構は、標準的なMDPや教師ありモデルと比較して、進化するユーザー関心や変化するレコメンデーション文脈をより効果的に捉えられるか？
• RQ5 大規模な実世界レコメンデーションシステムの履歴データを用いて学習した場合、POMDP-Recフレームワークはどの程度安定的かつスケーラブルか？

主な発見

• POMDP-Recフレームワークは、KDDCUP '11コンペティションで最良の単一モデル（RMSE ≈ 22.1）と同等の性能を達成しており、広範なハイパーパrameterチューニングや特徴工学を必要としない。
• 学習の反復6回目以降に性能が著しく向上し、反復的更新によるQ値過大評価の低減と効果的な収束が示された。
• 平均報酬は滑らかに増加し、十分な学習サンプル後には平均最大Q値が安定化する。これはYahoo Musicデータセットにおけるモデルの安定性を示している。
• 本フレームワークは、負のサンプル生成を回避する正のフィードバックのみから学習することで、レコメンデーションシステムにおけるワンクラス問題を効果的に処理する。
• 状態遷移のモデル化により、POMDP-Recモデルは、リアルタイムデータの再トレーニングなしでユーザー関心の変化やレコメンデーション文脈の変化に適応できる強力な一般化能力を維持する。
• 本フレームワークは、POMDPをレコメンデーションシステムに適用した初の試みであり、部分観測性と信念に基づく意思決定を順序付きレコメンデーションに原理的かつ明確にモデル化する手法を提供する。