[論文レビュー] Opportunistic Advertisement Scheduling in Live Social Media: A Multiple Stopping Time POMDP Approach

Vikram Krishnamurthy, Anup Aprem+1 more|arXiv (Cornell University)|Nov 1, 2016

Consumer Market Behavior and Pricing参考文献 29被引用数 3

ひとこと要約

本論文は、ライブソーシャルメディアにおける最適なオポチュニスティック広告スケジューリングのため、複数の停止時刻を伴う部分的に観測可能なマルコフ意思決定過程（POMDP）フレームワークを提案する。広告収益を最大化するために、ノイズを含む視聴者数の観測値を活用する。最適方策の構造的性質を導出し、確率的近似を用いて近似的に最良な線形しきい値を計算することで、実データセット上での周期的スケジューリングと比較して20–30％の収益向上を実証した。

ABSTRACT

Live online social broadcasting services like YouTube Live and Twitch have steadily gained popularity due to improved bandwidth, ease of generating content and the ability to earn revenue on the generated content. In contrast to traditional cable television, revenue in online services is generated solely through advertisements, and depends on the number of clicks generated. Channel owners aim to opportunistically schedule advertisements so as to generate maximum revenue. This paper considers the problem of optimal scheduling of advertisements in live online social media. The problem is formulated as a multiple stopping problem and is addressed in a partially observed Markov decision process (POMDP) framework. Structural results are provided on the optimal advertisement scheduling policy. By exploiting the structure of the optimal policy, best linear thresholds are computed using stochastic approximation. The proposed model and framework are validated on real datasets, and the following observations are made: (i) The policy obtained by the multiple stopping problem can be used to detect changes in ground truth from online search data (ii) Numerical results show a significant improvement in the expected revenue by opportunistically scheduling the advertisements. The revenue can be improved by $20-30\%$ in comparison to currently employed periodic scheduling.

研究の動機と目的

• 視聴者参加度と広告クリックに依存する広告収益を最大化する課題に対処すること。
• 観測できない視聴者参加度を隠れマルコフ過程としてモデル化し、観測可能な視聴者数のノイズを含む部分観測として扱うこと。
• 中間広告挿入の最適タイミングを実現するため、広告スケジューリング問題を複数の停止時刻を伴うPOMDPとして定式化すること。
• 計算効率を高めるために、最適方策の構造的性質（単調性およびしきい値行動）を導出すること。
• 実世界のデータセットを用いて提案手法を検証し、周期的スケジューリングと比較して顕著な収益向上を示すこと。

提案手法

• 広告スケジューリング問題を、隠れ状態が視聴者参加度で観測値が現在の視聴者数である複数の停止時刻を伴うPOMDPとして定式化する。
• 視聴者参加度を2状態のマルコフ連鎖でモデル化し、視聴者数による真の状態のノイズを含む観測として仮定する。
• ベイズの定理を用いて信念状態を更新し、動的計画法により価値関数を再帰的に導出する。
• 最適方策が信念状態に関して単調であることを証明し、しきい値に基づく制御の適用を可能にする。
• 計算複雑性を低減するために、スイッチングカーブの最良線形しきい値を確率的近似を用いて計算する。
• 極端な信念状態を結ぶ線分に沿った信念状態を用いてスイッチングカーブを構築し、連結で単調な意思決定領域を保証する。

実験結果

リサーチクエスチョン

• RQ1 視聴者参加度が観測不能であり、観測可能なのはノイズを含む視聴者数のみである状況下で、ライブソーシャルメディアにおける広告スケジューリングをどのように最適化できるか？
• RQ2 POMDPフレームワーク下で、複数回の広告挿入に対する最適方策が示す構造的性質は何か？
• RQ3 確率的近似と線形しきい値を用いることで、計算効率の良い最適方策の近似を導出できるか？
• RQ4 実世界のライブストリーミング環境において、オポチュニスティックスケジューリングは周期的スケジューリングと比較して、どの程度広告収益を向上させるか？
• RQ5 オンライン検索および視聴者データから、真の状態（例：トレンドイベント）の変化をモデルが検出できるか？

主な発見

• 広告スケジューリングの最適方策は信念状態に関して単調であり、しきい値ベースの実装が可能である。
• 提案されたPOMDPフレームワークは、観測可能な視聴者数をノイズ付きの信号として用いることで、隠れた視聴者参加度プロセスを効果的にモデル化した。
• 確率的近似により、計算複雑性を顕著に低減しつつ性能を維持する近似的に最良な線形しきい値が得られた。
• 数値結果から、周期的スケジューリングと比較して期待広告収益が20–30％向上することが示された。
• オンラインデータからの視聴者参加度の変化を分析することで、モデルは真の状態（例：トレンドイベント）の変化を検出できた。
• 最適行動（広告を挿入するかしないか）のスイッチングカーブは連結で構造的であり、実用的導入を支援する。