[論文レビュー] Value-aware Recommendation based on Reinforced Profit Maximization in E-commerce Systems

Changhua Pei, Xinru Yang+6 more|arXiv (Cornell University)|Feb 3, 2019

Recommender Systems and Techniques参考文献 30被引用数 13

ひとこと要約

本論文は、eコマースシステムにおける利益を直接最適化するために強化学習を用いる価値認識型推薦フレームワークを提案する。クリックスルーレート（CVR）を任意のユーザー行動（XVR）に一般化し、各行動の経済的価値をモノアイズドすることで、利益の最適化を実現する。本手法は、従来のランク付け指標とシステム全体の利益の両方で顕著な向上を達成しており、オンラインA/BテストにおいてDNNベースのベースライン比で6.8%のGMV増加を達成した。

ABSTRACT

Existing recommendation algorithms mostly focus on optimizing traditional recommendation measures, such as the accuracy of rating prediction in terms of RMSE or the quality of top-$k$ recommendation lists in terms of precision, recall, MAP, etc. However, an important expectation for commercial recommendation systems is to improve the final revenue/profit of the system. Traditional recommendation targets such as rating prediction and top-$k$ recommendation are not directly related to this goal. In this work, we blend the fundamental concepts in online advertising and micro-economics into personalized recommendation for profit maximization. Specifically, we propose value-aware recommendation based on reinforcement learning, which directly optimizes the economic value of candidate items to generate the recommendation list. In particular, we generalize the basic concept of click conversion rate (CVR) in computational advertising into the conversation rate of an arbitrary user action (XVR) in E-commerce, where the user actions can be clicking, adding to cart, adding to wishlist, etc. In this way, each type of user action is mapped to its monetized economic value. Economic values of different user actions are further integrated as the reward of a ranking list, and reinforcement learning is used to optimize the recommendation list for the maximum total value. Experimental results in both offline benchmarks and online commercial systems verified the improved performance of our framework, in terms of both traditional top-$k$ ranking tasks and the economic profits of the system.

研究の動機と目的

• 従来のRMSEやMAPのような指標を越えて、eコマース推薦システムの利益を直接最適化すること。
• 高いクリック数を記録するが利益率が低いアイテムが存在する中で、推薦精度の向上と実際のシステム収益性のギャップを解消すること。
• クリック、カートへの追加、購入などの多様なユーザー行動を、利益駆動のランク付けに向けたモノアイズド経済的価値にマッピングする統合フレームワークの構築。
• 実世界のeコマース環境における大規模なオンラインA/Bテストを通じたアプローチの妥当性の検証。

提案手法

• 広告分野のクリックコンバージョンレート（CVR）の概念を、任意のユーザー行動のコンバージョンレート（XVR）に一般化することで、クリックやカートへの追加、購入といった行動のモノアイズドを可能にする。
• 履歴行動ログに基づき、各ユーザー行動に金銭的価値を割り当て、期待利益への寄与度（例：購入＝高価値、クリック＝低価値）を反映する。
• 推薦リストに含まれるモノアイズド行動を集約して、合計期待利益を表す統一された報酬関数を構築する。
• 深層強化学習（PPOベース）を用いて、累積期待利益を最大化するように動作を最適化するポリシーネットワークを訓練する。
• 実世界のeコマースログから抽出したベンチマークデータセットを用いて、モデルのオフライン学習と評価を実施する。
• 1日2億回を超えるクリックを扱うライブシステム上で、大規模なオンラインA/Bテストを実施し、実ユーザートラフィックにおける性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 推薦システムを、従来のランク付け精度の最適化から離れ、利益の直接最適化に向けた訓練が可能か？
• RQ2 クリック、カートへの追加、購入などの異なるユーザー行動を、利益最適化の観点からそれぞれの経済的価値にマッピングする方法は何か？
• RQ3 CVRをXVR（任意の行動のコンバージョンレート）に一般化することで、標準的なランク付け指標よりも優れた利益駆動のランク付けが可能か？
• RQ4 価値ベースの報酬関数を用いた強化学習は、ランク付け品質とシステムレベルの経済的成果の両方をどの程度改善するか？
• RQ5 提案手法は、実世界のオンライン展開において統計的に有意かつビジネス的に意味のある改善を達成できるか？

主な発見

• 価値ベースの強化学習モデルは、オンラインA/BテストにおいてDNNベースの学習-ランク付けベースライン比で、粗利益売上（GMV）に6.8%の相対的改善を達成した。
• オフライン評価では、DNNベースのLTRベースライン比で、正規化期待GMVで7.3%、価値ベース指標R’_pageで6.0%の向上を示した。
• 「カートへの追加」や「お気に入りに追加」などの行動を価値モデルに組み込むことで、期待GMVが3.1%向上し、MAPは最大6.6%向上した。
• DNNベースのLTRベースライン比で、精度が2.5%、再現率が2.4%、MAPが0.7%向上し、より優れたランク付け品質を示した。
• 結果から、利益を直接最適化することで、従来の指標を明示的に最適化しなくても、より良いビジネス成果が得られることを示した。