[論文レビュー] Deep Reinforcement Learning-Based Product Recommender for Online Advertising

Milad Vaali Esfahaani, Yanbo Xue+1 more|arXiv (Cornell University)|Jan 30, 2021

Reinforcement Learning in Robotics参考文献 25被引用数 4

ひとこと要約

本稿では、RecoGym環境を用いてオンライン広告推薦システムにおける深層強化学習（DRL）アプローチ——特にDQNとポリシー勾配（PG）——を提案および比較する。順序付きユーザー行動をモデル化するためにLSTMネットワークを統合し、安定性を高めるためにHuber損失を採用することで、PG法は収束速度、CTR、分散低減の面でDQNを上回り、特に高次元のユーザー・アイテム空間において顕著である。

ABSTRACT

In online advertising, recommender systems try to propose items from a list of products to potential customers according to their interests. Such systems have been increasingly deployed in E-commerce due to the rapid growth of information technology and availability of large datasets. The ever-increasing progress in the field of artificial intelligence has provided powerful tools for dealing with such real-life problems. Deep reinforcement learning (RL) that deploys deep neural networks as universal function approximators can be viewed as a valid approach for design and implementation of recommender systems. This paper provides a comparative study between value-based and policy-based deep RL algorithms for designing recommender systems for online advertising. The RecoGym environment is adopted for training these RL-based recommender systems, where the long short term memory (LSTM) is deployed to build value and policy networks in these two approaches, respectively. LSTM is used to take account of the key role that order plays in the sequence of item observations by users. The designed recommender systems aim at maximising the click-through rate (CTR) for the recommended items. Finally, guidelines are provided for choosing proper RL algorithms for different scenarios that the recommender system is expected to handle.

研究の動機と目的

• オンライン広告推薦システムにおける深層強化学習ベースのレコメンデーションシステムを設計・評価し、クリックスルーレート（CTR）を最大化すること。
• 価値ベース（DQN）とポリシー基地（PG）の深層RLアルゴリズムが順序付き推薦シナリオにおいてどのように機能するかを調査すること。
• ユーザーインタラクションの時間的順序をモデル化するために、価値ネットワークおよびポリシーネットワークにLSTMを適用する影響を検討すること。
• ユーザー・アイテム空間のスケールに応じてDQNとPGの間で選択するための実用的ガイドラインを提供すること。
• DQNフレームワークにHuber損失関数を統合することで、訓練の安定性とパフォーマンスを向上させること。

提案手法

• DRLエージェントの訓練および評価をオンライン広告シナリオで行うため、シミュレーションプラットフォームとしてRecoGym環境を採用した。
• ユーザー行動の順序的依存性を捉えるために、元のニューラルネットワークをLSTMネットワークに置き換えたDQNアーキテクチャを採用した。
• 訓練プロセスにおいてHuber損失関数をDQNに適用し、ロバスト性を高め、訓練の分散を低減した。
• 行動確率をソフトマックス層を介して出力するLSTMベースのポリシーネットワークを用いてポリシー勾配（PG）法を実装し、ポリシー最適化にはカテゴリカル交差エントロピー損失を用いた。
• DQNおよびPGエージェントを、相互作用エピソード全体における累積CTRを最大化するように訓練した。これは、リアルタイムの推薦意思決定をシミュレートするものである。
• ユーザー数およびアイテム数の対数スケールでのパフォーマンス領域の等高線図を作成し、システム規模に応じたアルゴリズム選択の指針を提供した。

実験結果

リサーチクエスチョン

• RQ1 オンライン広告推薦システムにおいて、価値ベース（DQN）とポリシー基地（PG）の深層強化学習アルゴリズムは、収束速度およびCTRパフォーマンスの観点でどのように比較されるか？
• RQ2 ユーザーインタラクションの順序的順序をモデル化するためにLSTMをDQNおよびPGネットワークに統合することで、パフォーマンスがどの程度向上するか？
• RQ3 Huber損失関数の使用が、DQNベースのレコメンデーションシステムの訓練安定性および分散にどのように影響するか？
• RQ4 大規模な電子商取引プラットフォームに一般的に見られる高次元の状態／行動空間において、DQNとPGのどちらの深層RLアルゴリズムがより優れたパフォーマンスを示すか？
• RQ5 ユーザー数およびアイテム数の異なるスケールにおいて、DQNとPGの間にはどのようなパフォーマンストレードオフが生じるか？また、これらのトレードオフはアルゴリズム選択にどのように活用できるか？

主な発見

• PGベースのレコメンデーションシステムは、特に10,000人のユーザーと10,000個のアイテムを有する大規模環境において、DQNよりも収束が早く、CTRのフラクチュエーションが著しく低減され、分散も小さくなった。
• LSTMベースのDQNは、CNNベースのDQNに比べて収束速度、安定性、パフォーマンスの面で優れており、特に大きなアクション空間において、ユーザー行動の順序的特徴をより効果的にモデル化できた。
• PGアルゴリズムは、100人、1,000人、10,000人のユーザーおよびアイテムを対象とした全テストスケールで、より高い最終CTRを達成し、DQNよりもより安定した学習ダイナミクスを示した。
• パフォーマンス領域の等高線図から、DQNは低次元の状態／行動空間に適しているのに対し、PGは高次元空間に適していることが明らかになった。
• DQNにHuber損失関数を統合することで、訓練の安定性が向上し、CTRの分散が低減され、より信頼性の高い学習が可能になった。
• 価値ネットワークおよびポリシーネットワークの両方にLSTMを適用することで、ユーザーインタラクションの時間的順序が効果的に捉えられ、順序観測パターンからの学習能力が向上した。