[論文レビュー] Deep Reinforcement Learning for Online Advertising in Recommender Systems

Xiangyu Zhao, Changsheng Gu+4 more|arXiv (Cornell University)|Sep 9, 2019

Reinforcement Learning in Robotics参考文献 46被引用数 12

ひとこと要約

本論文では、広告収益とユーザーエクスペリエンスのバランスを図るために、推薦リストにおける広告挿入意思決定、広告選定、配置位置を統合最適化する深層強化学習フレームワークを提案する。カスタム化されたDeep Q-Networkを用いて、モデルは動的に長期報酬を最大化する。実世界のデータを用いた実験で優れた性能を示した。

ABSTRACT

With the recent prevalence of Reinforcement Learning (RL), there have been tremendous interests in utilizing RL for online advertising in recommendation platforms (e.g. e-commerce and news feed sites). However, most RL-based advertising algorithms focus on solely optimizing the revenue of ads while ignoring possible negative influence of ads on user experience of recommended items (products, articles and videos). Developing an optimal advertising algorithm in recommendations faces immense challenges because interpolating ads improperly or too frequently may decrease user experience, while interpolating fewer ads will reduce the advertising revenue. Thus, in this paper, we propose a novel advertising strategy for the rec/ads trade-off. To be specific, we develop a reinforcement learning based framework that can continuously update its advertising strategies and maximize reward in the long run. Given a recommendation list, we design a novel Deep Q-network architecture that can determine three internally related tasks jointly, i.e., (i) whether to interpolate an ad or not in the recommendation list, and if yes, (ii) the optimal ad and (iii) the optimal location to interpolate. The experimental results based on real-world data demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 推薦システムにおける広告収益とユーザーエクスペリエンスのトレードオフを解消すること。
• ユーザーのインタラクションにリアルタイムで適応する動的広告戦略を開発すること。
• 広告挿入意思決定、広告選定、配置位置の3つの相互に依存するタスクを統合最適化すること。
• 短期的な広告収益と長期的なユーザーサティスファクションのバランスを取ることで長期報酬を最大化すること。
• 推薦プラットフォームから得た実世界のデータを用いてフレームワークを検証すること。

提案手法

• 広告挿入、選定、配置の統合最適化を処理できる、新しいDeep Q-Network（DQN）アーキテクチャを設計した。
• DQNエージェントは現在の推薦リストを観測し、広告を挿入するかどうか、どの広告を選ぶか、どこに配置するかを決定するアクションを実行する。
• エージェントの行動空間には、広告挿入意思決定、広告選択、リスト内での配置位置のすべての組み合わせが含まれる。
• 報酬関数は、即時の広告収益と長期的なユーザーエンゲージメントの両方を反映しており、収益とユーザーエクスペリエンスのトレードオフを捉えている。
• フレームワークは、ユーザーフィードバックとインタラクションの結果に基づいて、継続的にポリシーを更新する深層Qラーニングを用いる。
• モデルは実世界のデータ上でエンドツーエンドに訓練され、時間の経過とともに最適な広告戦略を学習する。

実験結果

リサーチクエスチョン

• RQ1 強化学習フレームワークは、推薦システムにおける広告収益とユーザーエクスペリエンスのバランスをどのように効果的に実現できるか？
• RQ2 広告挿入、選定、配置を統合最適化することで、長期的なシステムパフォーマンスにどのような影響を与えるか？
• RQ3 DQNベースのエージェントは、ヒューリスティックまたは固定戦略に比べて、より優れた広告意思決定を学習できるか？
• RQ4 複雑なユーザ行動と動的なコンテンツを伴う実世界の環境において、モデルはどのように性能を発揮するか？
• RQ5 各コンポonent（挿入、選定、配置）の相対的寄与度は、全体の報酬にどの程度寄与しているか？

主な発見

• 提案されたDRLフレームワークは、収益最適化に特化したベースライン手法と比較して、長期報酬を顕著に向上させた。
• 挿入、選定、配置の統合最適化により、より良いユーザーエクスペリエンスと高い持続的エンゲージメントが実現された。
• モデルは過剰な広告挿入を学習し、ユーザーサティスファクションへの悪影響を軽減しながらも、高い収益を維持した。
• フレームワークは、多様な実世界の推薦シナリオにおいて、強固なパフォーマンスを示した。
• DQNベースのアプローチは、広告収益とユーザーリテンション指標の両面で明確な改善を達成した。
• アブレーションスタディの結果、挿入、選定、配置の3つのコンポーネントが、全体のパフォーマンスに有意義に寄与していることが確認された。