[論文レビュー] Recommendation System-based Upper Confidence Bound for Online Advertising

Nhan Nguyen-Thanh, Dana Marinca+6 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Bandit Algorithms Research参考文献 11被引用数 8

ひとこと要約

本論文は、オンライン広告における製品推薦の改善を目的として、ユーザ同士の協調フィルタリングをUpper Confidence Bound（UCB）アルゴリズムに統合したハイブリッド強化学習手法UCB-RSを提案する。ヒストリカルなユーザ行動を活用して報酬の信頼区間を推定することで、RecoGym環境を用いた大規模かつ非定常な行動空間において、UCB1およびEXP3Sと比較して20–40%高いクリックスルーレートを達成した。

ABSTRACT

In this paper, the method UCB-RS, which resorts to recommendation system (RS) for enhancing the upper-confidence bound algorithm UCB, is presented. The proposed method is used for dealing with non-stationary and large-state spaces multi-armed bandit problems. The proposed method has been targeted to the problem of the product recommendation in the online advertising. Through extensive testing with RecoGym, an OpenAI Gym-based reinforcement learning environment for the product recommendation in online advertising, the proposed method outperforms the widespread reinforcement learning schemes such as $ε$-Greedy, Upper Confidence (UCB1) and Exponential Weights for Exploration and Exploitation (EXP3).

研究の動機と目的

• オンライン広告推薦システムにおける非定常なユーザ行動と大規模な行動空間の課題に対処すること。
• 強化学習と推薦システム技術を統合することで、オフラインの推薦指標と実際のオンラインパフォーマンスのギャップを埋めること。
• 協調フィルタリングを用いて、製品推薦のためのマルチアームバンディット設定における探索と活用のトレードオフを改善すること。
• 実世界の広告フィードバックをシミュレートする現実的でスケーラブルな環境で、提案手法を評価すること。
• ε-greedy、UCB1、EXP3などの標準的なRLベースラインと比較して、ハイブリッドなUCB-RSアプローチの優位性を示すこと。

提案手法

• 本手法は、上界信頼区間（UCB）アルゴリズムとユーザ同士の協調フィルタリングを組み合わせ、製品の期待報酬を推定する。
• ヒストリカルなユーザ行動の参照セットを用いてユーザ間の類似度を計算し、ターゲットユーザの潜在的報酬を推定する。
• UCB-RSにおける信頼区間は、推定された平均報酬と不確実性に基づく探索項の和として計算される。ここで平均報酬は協調フィルタリングから得られる。
• 非定常なユーザ行動に適応するため、最近の行動を示すスライディングウィンドウを用いて報酬推定値を動的に更新する。
• 本手法はRecoGymに実装され、評価されている。RecoGymは、eコマースと広告ベースのユーザ行動を統合した、OpenAI Gymベースのオンライン広告シミュレータである。
• λ（協調フィルタリングの重み）やtop-N（類似ユーザの数）といったハイパーパrameterは、パフォーマンス最適化のために調整された。

実験結果

リサーチクエスチョン

• RQ1 協調フィルタリングをUCBに統合することで、オンライン広告における大規模で非定常なマルチアームバンディット問題でのパフォーマンスがどのように向上するか？
• RQ2 類似ユーザ数（top-N）と重み係数λがUCB-RSのパフォーマンスに与える影響は何か？
• RQ3 製品の人気度の分散（σμ）が、ベースラインアルゴリズムと比較してUCB-RSのパフォーマンスに与える影響は何か？
• RQ4 UCB-RSは、ε-greedy、UCB1、EXP3といった標準的なRLアルゴリズムと比較して、クリックスルーレートの観点でどの程度優れているか？
• RQ5 UCB-RSは、例えば50、100、200件の製品といった変動する行動空間サイズに対して、どの程度のロバストネスを示すか？

主な発見

• UCB-RS IIIは、全テスト設定においてUCB1およびEXP3Sと比較して20–40%高いクリックスルーレートを達成した。
• UCB-RSのパフォーマンスは、製品の人気度分散（σμ）が高いほど向上し、人気製品が顕著に際立つ状況でより効果的であることが示された。
• クリックスルーレートの累積分布関数（CDF）は、UCB-RS IIIでは50%以上のユーザが2%以上のCTRを達成していることを示し、すべてのベースラインを上回った。
• λの選択はパフォーマンスにわずかに影響を与えるが、チューニングにより最適値が特定可能であった。
• 類似ユーザ数（top-N）はパフォーマンスに顕著な影響を与え、top-N = 15でもベースラインと比較して優れた結果を示した。
• 200件の製品がある状況でも、UCB-RS IIIは最高のクリックスルーレートを維持しており、大規模な行動空間へのスケーラビリティとロバストネスを示した。