[論文レビュー] Learning to Advertise with Adaptive Exposure via Constrained Two-Level Reinforcement Learning.

Weixun Wang, Junqi Jin+9 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Bandit Algorithms Research参考文献 21被引用数 3

ひとこと要約

本稿では、eコマースにおける動的広告露出のための制約付き二段階強化学習フレームワークを提案する。広告枠の割り当てと広告選択を分離し、各状態に制約を課す制約付きMDP（psCMDP）により、クエリ単位および日単位の制約を強制する。新規の制約付きヒンターレコ屋経験リプレイ機構を用いることで、より高い広告収益と向上した学習安定性・速度を達成し、実世界のデータで検証された。

ABSTRACT

For online advertising in e-commerce, the traditional problem is to assign the right ad to the right user on fixed ad slots. In this paper, we investigate the problem of advertising with adaptive exposure, in which the number of ad slots and their locations can dynamically change over time based on their relative scores with recommendation products. In order to maintain user retention and long-term revenue, there are two types of constraints that need to be met in exposure: query-level and day-level constraints. We model this problem as constrained markov decision process with per-state constraint (psCMDP) and propose a constrained two-level reinforcement learning to decouple the original advertising exposure optimization problem into two relatively independent sub-optimization problems. We also propose a constrained hindsight experience replay mechanism to accelerate the policy training process. Experimental results show that our method can improve the advertising revenue while satisfying different levels of constraints under the real-world datasets. Besides, the proposal of constrained hindsight experience replay mechanism can significantly improve the training speed and the stability of policy performance.

研究の動機と目的

• 動的広告枠の割り当てと配置を効率的に行う課題に取り組むこと。広告枠の数や位置は、製品スコアに応じて変化する。
• 広告露出に対するクエリ単位（1回の検索クエリごと）および日単位（1日ごと）の2種類の制約を課すことで、ユーザーの維持と長期的収益の確保を図ること。
• 適応的広告露出問題を、正確な制約処理が可能な各状態に制約を課すマルコフ決定過程（psCMDP）としてモデル化すること。
• 複雑な最適化問題を、より高い学習効率とポリシーの安定性を実現するための2つの独立した部分最適化問題に分解すること。
• 制約付きヒンターレコ屋経験リプレイ機構を導入することで、ポリシーの学習を加速し、性能の安定性を向上させること。

提案手法

• 制約が状態レベルで課される制約付きMDP（psCMDP）として、適応的広告露出問題を定式化する。
• 元の問題を2つの独立した部分最適化タスクに分解する：(1) 製品スコアに基づく枠選択、(2) 各枠における広告選択。
• 2段階の制約付き強化学習を適用し、2つの部分最適化問題を別々に最適化しながら制約の遵守を維持する。
• 制約を考慮したサンプリングにより、過去の経験を保存・再利用する制約付きヒンターレコ屋経験リプレイ機構を導入し、データ効率を向上させる。
• 2段階最適化アプローチを用いて制約を処理し、ポリシー更新がクエリ単位または日単位の露出制限に違反しないように保証する。
• オフポリシー学習に優先順位付き経験リプレイを適用し、再利用サンプリング段階で制約検証を強化することで、学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2段階の強化学習フレームワークは、適応的広告露出における枠割り当てと広告選択の分離を効果的に実現できるか？
• RQ2 提案手法は、クエリ単位および日単位の露出制約を満たしつつ、ユーザー維持と長期収益をどれほど効果的に維持できるか？
• RQ3 制約付きヒンターレコ屋経験リプレイ機構は、学習速度とポリシー性能の安定性をどの程度向上させるか？
• RQ4 さまざまな制約レベル下で、実世界のeコマースデータセットにおいて、ベースライン手法と比較して本手法はどの程度の性能を示すか？
• RQ5 psCMDP定式化は、標準の非制約付きRL手法と比較して、より優れた制約遵守性と最適化効率を実現できるか？

主な発見

• 提案手法は、ベースライン手法と比較して広告収益を向上させるとともに、クエリ単位および日単位の露出制約を厳密に満たしている。
• 制約付き二段階RLフレームワークは、最適化問題の分離に成功し、より安定的かつ効率的な学習を可能にした。
• 制約付きヒンターレコ屋経験リプレイ機構は、ポリシー学習の加速と性能安定性の向上に顕著な効果を示した。
• 実世界のeコマースデータセットを用いた実験結果から、さまざまな制約レベルにおいて収益と制約遵守性の両面で一貫した改善が確認された。
• 本手法は、きびしい制約環境下でも高い性能を維持しており、実運用環境における強力な耐障害性とスケーラビリティを示している。